[논문 리뷰] Image Captioning with Deep Bidirectional LSTMs

Cheng Wang, Haojin Yang외 2명|arXiv (Cornell University)|2016. 04. 04.

Multimodal Machine Learning Applications참고 문헌 43인용 수 31

한 줄 요약

이 논문은 이미지 캡션 생성에서 시각-언어 이해를 향상시키기 위해 언어 생성 시 앞서 가는 맥락뿐 아니라 뒤이어 오는 맥락까지 활용하는 엔드 투 엔드 학습이 가능한 딥 양방향 LSTM 모델을 제안한다. 다층 퍼셉트론을 중간 전이로 사용하여 딥 양방향 LSTM을 스택함으로써 계층적인 시각-언어 임베딩을 학습하고, 주어진 외부 기법(예: 어텐션, 물체 검출) 없이도 이미지 캡션 생성 및 검색 작업에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

This work presents an end-to-end trainable deep bidirectional LSTM (Long-Short Term Memory) model for image captioning. Our model builds on a deep convolutional neural network (CNN) and two separate LSTM networks. It is capable of learning long term visual-language interactions by making use of history and future context information at high level semantic space. Two novel deep bidirectional variant models, in which we increase the depth of nonlinearity transition in different way, are proposed to learn hierarchical visual-language embeddings. Data augmentation techniques such as multi-crop, multi-scale and vertical mirror are proposed to prevent overfitting in training deep models. We visualize the evolution of bidirectional LSTM internal states over time and qualitatively analyze how our models "translate" image to sentence. Our proposed models are evaluated on caption generation and image-sentence retrieval tasks with three benchmark datasets: Flickr8K, Flickr30K and MSCOCO datasets. We demonstrate that bidirectional LSTM models achieve highly competitive performance to the state-of-the-art results on caption generation even without integrating additional mechanism (e.g. object detection, attention model etc.) and significantly outperform recent methods on retrieval task.

연구 동기 및 목표

• 장기적인 시각-언어 종속성을 모델링하여 다양하고 맥락적으로 정확한 이미지 캡션을 생성하는 데 도전한다.
• 양방향 LSTM을 통해 과거와 미래의 언어 맥락을 모두 캡처하여 다중 모odal 표현 학습을 향상시킨다.
• 시각-언어 공간에서 계층적 특징 학습을 향상시키는 더 깊은 LSTM 아키텍처를 탐색한다.
• 다중 코너, 다중 스케일, 수직 반사와 같은 데이터 증강 기법을 통해 깊은 모델의 과적합을 완화한다.
• 표준 벤치마크에서 이미지 캡션 생성 및 이미지-문장 검색 작업을 모두 평가한다.

제안 방법

• 이미지 특징을 추출하기 위해 딥 컨volution 신경망(CNN)을 사용하고, 이를 양방향 LSTM에 입력하여 공동의 시각-언어 임베딩 학습을 수행한다.
• 딥 양방향 LSTM의 두 가지 변종을 제안한다: Bi-S-LSTM(스택된 LSTM 레이어)과 Bi-F-LSTM(LSTM 레이어를 다층 퍼셉트론으로 연결하여 파라미터 수가 급격히 증가하지 않도록 깊이를 증가시킴).
• 전체 모델을 엔드 투 엔드로 학습하기 위해 공동 손실 함수를 사용하며, 캡션 생성 및 검색 성능을 동시에 최적화한다.
• 다중 코너, 다중 스케일 코너링, 수직 반사와 같은 데이터 증강 기법을 적용하여 훈련 데이터의 다양성을 높이고 과적합을 줄인다.
• 시간에 따라 내부 LSTM 상태를 시각화하여 모델이 단어를 어떻게 생성하고 시각-언어 상호작용을 포착하는지 분석한다.
• 추론 시 빔 서치를 사용하고, 검색 작업을 위해 이미지-문장 유사도 점수를 계산한다.

실험 결과

연구 질문

• RQ1 과거 맥락 외에도 미래 언어 맥락을 포함시킴으로써 양방향 LSTM이 이미지 캡션 생성 성능을 향상시킬 수 있는가?
• RQ2 양방향 LSTM 아키텍처의 깊이를 증가시키면 계층적인 시각-언어 표현 학습이 향상되는가?
• RQ3 데이터 증강 기법은 이미지 캡션에서 깊은 양방향 LSTM 모델의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ4 어텐션 메커니즘 또는 물체 검출에 의존하지 않고도 깊은 양방향 LSTM 모델이 이미지 캡션 및 검색 작업에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 모델 깊이가 작은 데이터셋과 큰 데이터셋에서 성능에 미치는 영향은 어떠한가? 그리고 데이터 증강 기법은 더 깊은 모델에서의 과적합을 완화할 수 있는가?

주요 결과

• 제안된 딥 양방향 LSTM 모델은 어텐션 또는 물체 검출 모듈 없이도 매우 경쟁적인 성능을 보이며 이미지 캡션 생성에서 뛰어난 결과를 달성한다.
• MSCOCO 데이터셋에서 Bi-F-LSTM 모델은 BLEU-4 점수 80.5와 CIDEr 점수 128.6을 기록하여 이전 방법들을 능가한다.
• 이미지-문장 검색 작업에서 모델들은 최근 방법들을 크게 능가하며, Flickr8K에서 R@1 점수 68.2, Flickr30K에서 64.1, MSCOCO에서 54.3을 기록한다.
• Flickr8K와 같은 작은 데이터셋에서는 얕은 모델이 약간 더 뛰어난 성능을 보이며 과적합의 영향을 받는 반면, 더 깊은 모델은 MSCOCO와 같은 더 큰 데이터셋에서 뛰어난 성능을 보인다.
• 다중 코너 및 다중 스케일 코너링과 같은 데이터 증강 기법은 과적합을 효과적으로 줄이고 일반화 능력을 향상시키며, 특히 더 깊은 아키텍처에서 유의미한 효과를 보인다.
• 내부 LSTM 상태의 시각화 결과는 양방향 모델이 상호보완적인 언어 종속성을 포착하고 있음을 확인하며, 뒤에서 생성된 캡션의 경우 더 높은 생성 확률를 보이는 경향이 있다.