[논문 리뷰] Exploring Overall Contextual Information for Image Captioning in Human-Like Cognitive Style

Hongwei Ge, Zehang Yan외 3명|arXiv (Cornell University)|2019. 10. 15.

Multimodal Machine Learning Applications참고 문헌 47인용 수 6

한 줄 요약

이 논문은 이미지 캡션 생성 시 전방 및 후방 문장 맥락을 함께 모델링함으로써 더 일관되고 인간처럼 자연스러운 캡션을 생성할 수 있도록 하는 상호보완적 양방향 LSTM 아키텍처인 MaBi-LSTMs를 제안한다. 이중 맥락을 활용하고 크로스모달 어텐션 메커니즘을 도입함으로써, COCO 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 맥락 인식 능력과 다중모odal 융합 능력을 향상시킨다.

ABSTRACT

Image captioning is a research hotspot where encoder-decoder models combining convolutional neural network (CNN) and long short-term memory (LSTM) achieve promising results. Despite significant progress, these models generate sentences differently from human cognitive styles. Existing models often generate a complete sentence from the first word to the end, without considering the influence of the following words on the whole sentence generation. In this paper, we explore the utilization of a human-like cognitive style, i.e., building overall cognition for the image to be described and the sentence to be constructed, for enhancing computer image understanding. This paper first proposes a Mutual-aid network structure with Bidirectional LSTMs (MaBi-LSTMs) for acquiring overall contextual information. In the training process, the forward and backward LSTMs encode the succeeding and preceding words into their respective hidden states by simultaneously constructing the whole sentence in a complementary manner. In the captioning process, the LSTM implicitly utilizes the subsequent semantic information contained in its hidden states. In fact, MaBi-LSTMs can generate two sentences in forward and backward directions. To bridge the gap between cross-domain models and generate a sentence with higher quality, we further develop a cross-modal attention mechanism to retouch the two sentences by fusing their salient parts as well as the salient areas of the image. Experimental results on the Microsoft COCO dataset show that the proposed model improves the performance of encoder-decoder models and achieves state-of-the-art results.

연구 동기 및 목표

• 표준 인코더-디코더 모델이 이미지 캡션 생성 과정에서 전체 맥락적 의존성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 이미지 내용과 문장 구조를 모두 고려하여 인간의 인지 스타일을 모방함으로써 캡션 생성 전에 종합적인 이해를 형성하기 위해.
• 상호보완적 양방향 LSTM 아키텍처를 사용하여 전방 및 후방 언어 맥락을 동시에 모델링함으로써 문장의 일관성과 정확도를 향상시키기 위해.
• 크로스모달 어텐션 메커니즘을 통해 시각적 특징과 언어 표현 간의 도메인 갭을 해소하기 위해.
• 전방 및 후방 캡션 생성 과정에서 유의미한 시각적 영역과 의미적 요소를 융합하여 캡션 품질을 향상시키기 위해.

제안 방법

• 전방 및 후방 LSTMs가 서로 보완적인 맥락을 활용하여 은닉 상태를 반복적으로 갱신하는 상호보완적 양방향 LSTM 아키텍처인 MaBi-LSTMs를 제안한다.
• 사전 학습 과정에서 이전 및 이후 단어를 상호 인코딩할 수 있도록 보조 구조를 도입하여 맥락 인식 능력을 향상시킨다.
• 추론 과정에서 전방 및 후방 방향으로 각각 캡션 후보를 생성함으로써 이중 맥락 수준의 문장 맥락을 포착한다.
• 이미지의 시각적 특징과 두 방향의 언어적 특징을 융합하여 최종 출력을 개선하는 크로스모달 어텐션 메커니즘을 적용한다.
• 시각적 어텐션을 통해 관련된 이미지 영역에 집중하고, 의미적 어텐션을 통해 생성된 두 캡션에서 유의미한 단어를 강조함으로써 다중모달 융합을 가능하게 한다.
• CNN 특징 추출기의 가중치를 동결한 후 전체 모델을 엔드 투 엔드로 미세조정하여 공동의 시각-의미 표현 학습을 최적화한다.

실험 결과

연구 질문

• RQ1 상호보완적 학습을 통한 이중 맥락 모델링이 기존의 단일 방향 또는 독립적인 이중 방향 LSTMs에 비해 이미지 캡션 생성에서 맥락 모델링 능력을 향상시키는가?
• RQ2 후방 LSTMs를 통한 향후 단어 맥락의 통합이 생성된 캡션의 정확성과 유창성에 어떻게 기여하는가?
• RQ3 시각적 정보와 의미적 정보를 융합하는 크로스모달 어텐션 메커니즘이 개별 캡션 생성을 넘어서 캡션 품질을 얼마나 향상시키는가?
• RQ4 기본 모델 대비 이 방법이 더 세밀한 특성(예: 색상, 물체 수 등)을 더 잘 포착하는가?
• RQ5 전방 및 후방 캡션 생성 스트림에서 유의미한 정보를 융합함으로써 모델이 더 완전하고 정확한 기술을 생성할 수 있는가?

주요 결과

• MaBi-LSTM 모델은 전방 및 후방 언어 모델링 간의 상호보완적 맥락 학습을 가능하게 하여 표준 단일 방향 및 독립적인 이중 방향 LSTMs보다 캡션 품질을 크게 향상시켰다.
• 크로스모달 어텐션 메커니즘은 전방 및 후방 캡션 스트림에서 유의미한 시각적 영역과 의미적 요소를 효과적으로 융합하여 더 정확하고 완전한 기술을 생성하였다.
• COCO 데이터셋에서 제안된 모델은 기존 방법들에 비해 BLEU, ROUGE, CIDEr 지표에서 정량적 향상을 보이며 최신 기술 수준 성능을 달성하였다.
• 기본 모델에서 누락된 이미지 내용인 '거울', '컵', '와인 글라스', '粉红色' 등의 요소를 복구하는 데 성공하여 물체 및 속성 인식 능력이 향상됨을 보여주었다.
• 전방 또는 후방 LSTMs에서 생성된 개별 캡션이 불완전하거나 잘못되었더라도, MaBi-LSTMs는 보완적인 정보를 활용하여 일관되고 정확한 최종 캡션을 생성할 수 있었다.
• MaBi-LSTMs의 보조 구조는 향후 맥락을 암묵적으로 통합함으로써 모호한 경우(예: 'licking'과 'drinking'을 구분하는 경우)에서 더 나은 맥락 모델링을 가능하게 하였다.