[논문 리뷰] Boosting Image Captioning with Attributes

Ting Yao, Yingwei Pan외 3명|arXiv (Cornell University)|2016. 11. 05.

Multimodal Machine Learning Applications참고 문헌 22인용 수 38

한 줄 요약

이 논문은 종단간 훈련이 가능한 RNN 아키텍처에서 고수준 이미지 속성과 딥 컨볼루션 특징을 공동으로 통합함으로써 캡션 생성을 향상시키는 새로운 이미지 캡션 프레임워크인 LSTM-A를 제안한다. 이미지 표현과 속성을 LSTM에 다양한 방식으로 입력하는 것—예를 들어 초기 융합, 후기 융합, 또는 단계별 주입—을 탐색함으로써 이 방법은 최신 기술 성능을 달성하며, GoogleNet을 사용하여 COCO 테스트 세트에서 25.2% METEOR 및 98.6% CIDEr-D를 기록하고 공식 COCO 캡션 랭킹에서 1위를 차지한다.

ABSTRACT

Automatically describing an image with a natural language has been an emerging challenge in both fields of computer vision and natural language processing. In this paper, we present Long Short-Term Memory with Attributes (LSTM-A) - a novel architecture that integrates attributes into the successful Convolutional Neural Networks (CNNs) plus Recurrent Neural Networks (RNNs) image captioning framework, by training them in an end-to-end manner. To incorporate attributes, we construct variants of architectures by feeding image representations and attributes into RNNs in different ways to explore the mutual but also fuzzy relationship between them. Extensive experiments are conducted on COCO image captioning dataset and our framework achieves superior results when compared to state-of-the-art deep models. Most remarkably, we obtain METEOR/CIDEr-D of 25.2%/98.6% on testing data of widely used and publicly available splits in (Karpathy & Fei-Fei, 2015) when extracting image representations by GoogleNet and achieve to date top-1 performance on COCO captioning Leaderboard.

연구 동기 및 목표

• 원시 이미지 특징을 초월하는 보조 지식으로서 고수준 의미적 속성을 통합하여 이미지 캡션을 향상시키는 것.
• RNN 디코더에 속성과 이미지 표현을 어떻게, 언제 통합할지가 문장 생성 품질에 가장 잘 영향을 주는지 탐구하는 것.
• 속성과 이미지 특징을 LSTM에 주입하는 위치와 시점에 따라 다름을 보이는 아키텍처 변형을 탐색하는 것.
• 종단간 훈련을 통해 COCO 이미지 캡션 벤치마크에서 최신 기술 성능을 달성하는 것.
• 속성이 생성된 캡션의 기술적 정확성과 의미적 풍부성을 향상시킨다는 것을 입증하는 것.

제안 방법

• GoogleNet이나 ResNet-152와 같은 CNN에서 유도된 이미지 특징과 고수준 속성을 입력으로 받는 수정된 LSTM 디코더인 LSTM-A를 제안한다.
• 이미지 특징과 속성을 LSTM에 주입하는 순서와 시점에 따라 다름을 보이는 다섯 가지의 별도 아키텍처 변형(LSTM-A 1에서 5까지)을 설계한다. 예를 들어, 각 타임스텝에서 둘 다 주입하거나 순차적으로 주입하는 방식이다.
• 예를 들어 '빨간색', '개', '비행 중', '가지고 있음'과 같은 고수준 속성을 이미지에서 탐지하기 위해 다중 인스턴스 학습(MIL) 방법을 사용한다.
• 단어 예측을 위한 교차 엔트로피 손실을 사용하는 표준 시퀀스-투-시퀀스 학습을 통해 전체 모델을 종단간 훈련한다.
• 추론 중에는 성능 평가 결과를 바탕으로 k ∈ {1,2,3,4,5} 범위에서 선택된 beam size k=3을 사용하여 빔 서치 디코딩을 수행한다.
• 표준 훈련/검증/테스트 분할을 가진 COCO 데이터셋을 사용하며, BLEU, METEOR, CIDEr-D, ROUGE, SPICE 등의 표준 지표를 평가에 사용한다.

실험 결과

연구 질문

• RQ1 고수준 이미지 속성의 통합이 생성된 이미지 캡션의 품질과 관련성에 어떻게 기여하는가?
• RQ2 RNN 기반의 캡션 생성 모델에서 이미지 표현과 속성을 융합하는 데 가장 최적의 아키텍처 구성은 무엇인가?
• RQ3 입력 주입의 시기와 순서(예: 이미지 먼저 vs. 속성 먼저)가 캡션 생성 성능에 뚜렷한 영향을 미치는가?
• RQ4 CNN 특징만을 사용하는 모델에 비해 속성이 더 기술적이고 의미적으로 정확한 캡션을 생성하는 데 기여하는가?
• RQ5 속성이 COCO 이미지 캡션 랭킹에서 최신 기술 성능를 달성하는 데 얼마나 기여하는가?

주요 결과

• LSTM-A 3는 모든 변형 중에서 가장 높은 BLEU@1 및 METEOR 점수를 기록하여 특정 융합 전략의 효과를 입증한다.
• LSTM-A 5는 CIDEr-D, ROUGE, SPICE에서 최고 성능을 기록하여 더 우아하고 참조 캡션과 의미적으로 잘 일치하는 결과를 낸다.
• GoogleNet 특징을 사용할 때 COCO 테스트 세트에서 25.2% METEOR 및 98.6% CIDEr-D를 기록하여 제출 당시 새로운 최신 기술 성능을 수립한다.
• ResNet-152 특징을 사용할 경우 CIDEr-D 점수는 104.9% (c5) 및 105.3% (c40)로 상승하여 성능이 더욱 향상된다.
• 공식 COCO 캡션 랭킹에서 1위를 기록하여 이전에 발표된 모든 방법을 능가한다.
• 정성 분석 결과, LSTM-A는 '개', '빨간색', '가지고 있음'과 같은 탐지된 속성을 정확히 통합함으로써 더 정밀하고 기술적인 캡션을 생성함을 확인할 수 있다.