[논문 리뷰] Phrase-based Image Captioning with Hierarchical LSTM Model

Ying Hua Tan, Chee Seng Chan|arXiv (Cornell University)|2017. 11. 11.

Multimodal Machine Learning Applications참고 문헌 41인용 수 4

한 줄 요약

이 논문은 먼저 구문 수준에서 명사구를 디코딩하고, 문장 수준에서 이를 조합하여 전체 문장을 생성하는 구문 기반 계층적 LSTM 모델(phi-LSTM)을 제안한다. 이 모델은 구성적 벡터 표현을 사용하여 이미지 캡션을 생성한다. 이는 Flickr8k, Flickr30k, MS-COCO 데이터셋에서 표준 순차적 LSTM 모델에 비해 향상된 캡션 품질, 더 높은 어휘 다양성, 더 높은 신선도를 달성한다.

ABSTRACT

Automatic generation of caption to describe the content of an image has been gaining a lot of research interests recently, where most of the existing works treat the image caption as pure sequential data. Natural language, however possess a temporal hierarchy structure, with complex dependencies between each subsequence. In this paper, we propose a phrase-based hierarchical Long Short-Term Memory (phi-LSTM) model to generate image description. In contrast to the conventional solutions that generate caption in a pure sequential manner, our proposed model decodes image caption from phrase to sentence. It consists of a phrase decoder at the bottom hierarchy to decode noun phrases of variable length, and an abbreviated sentence decoder at the upper hierarchy to decode an abbreviated form of the image description. A complete image caption is formed by combining the generated phrases with sentence during the inference stage. Empirically, our proposed model shows a better or competitive result on the Flickr8k, Flickr30k and MS-COCO datasets in comparison to the state-of-the art models. We also show that our proposed model is able to generate more novel captions (not seen in the training data) which are richer in word contents in all these three datasets.

연구 동기 및 목표

• 자연어의 문법 계층을 모델링하지 못하는 순차적 캡션 생성 모델의 한계를 해결하기 위해.
• 이미지 설명에서 구문 수준의 구조를 명시적으로 모델링하여 캡션 품질과 다양성을 향상시키기 위해.
• 구문에서 문장으로의 계층적 디코딩이 캡션 생성 성능을 향상시키는지 조사하기 위해.
• 구문과 문장의 시간 척도를 정렬함으로써 장기 기억 내의 중복을 줄이기 위해.
• 학습 중에 나타나지 않은 새로운, OOV(out-of-vocabulary) 캡션을 더 잘 생성하기 위해.

제안 방법

• 모델은 하위 계층에서 단어를 원자 단위로 사용하여 길이가 가변적인 명사구(NP)를 생성하는 구문 디코더를 사용한다.
• 각 생성된 NP는 구성적 벡터 표현으로 인코딩되며, 이는 상위 계층의 약어 문장(AS) 디코더의 입력으로 제공된다.
• AS 디코더는 각 NP의 마지막 단어와 연결어(예: 'on', 'by')로 구성된 약어 캡션을 생성한다.
• 빔 서치 추론 중에 생성된 구문과 문장 구성 요소를 조합하여 완전한 캡션을 형성한다.
• 추론 중에 구문 수준과 문장 수준 양쪽에서 길이 정규화를 적용하여 더 길고 기술적인 캡션을 유도한다.
• 구문 해석 품질 향상과 출력 일관성 향상을 위해 구문 보완 전략을 도입한다.

실험 결과

연구 질문

• RQ1 구문에서 문장으로의 계층적 디코딩을 수행하는 캡션 생성 모델이 순차적 모델보다 이미지 캡션 성능에서 뛰어나게 되는가?
• RQ2 계층적 디코딩이 생성된 캡션의 다양성과 신선도를 향상시키는가?
• RQ3 구문 수준의 구조를 모델링하면 생성된 캡션에서 객체 및 속성 인식의 정확도에 어떤 영향을 미치는가?
• RQ4 캡션 생성 중에 장기 기억 내의 중복을 어느 정도 줄일 수 있는가?
• RQ5 순차적 모델에 비해 희귀어나 저빈도어(예: 'an', 'there', 'three')를 더 잘 생성할 수 있는가?

주요 결과

• phi-LSTM 모델은 Flickr8k, Flickr30k, MS-COCO 데이터셋에서 최신 기술 모델과 경쟁하거나 그 이상의 성능을 달성한다.
• 학습 데이터에 존재하지 않는 더 새로운 캡션을 생성하여 일반화 능력과 어휘 다양성이 향상됨을 나타낸다.
• 'an', 'there', 'three'와 같은 저빈도어를 더 잘 추론함으로써, 순차적 모델이 국소 통계적 편향으로 인해 자주 누락하는 단어들을 보완함을 보여준다.
• 특히 더 큰 학습 데이터를 바탕으로 한 MS-COCO에서 'her'과 'their'와 같은 소유 대명사의 생성이 기준 모델보다 더 일관되게 이루어짐을 확인하였다.
• 계층적 디코딩 과정을 통해 'by'와 같은 전치사나 'while'과 같은 접속사의 생성 가능성이 높아졌으며, 이는 순차적 모델에서 자주 생략되는 경향이 있었다.
• 빔 서치 중에 고빈도 관사 'a'의 간섭이 감소함으로써 모음으로 시작하는 속성(예: 'an orange shirt')을 더 잘 처리함을 보였다.