[논문 리뷰] Improving Image Captioning with Better Use of Captions

Zhan Shi, Zhou Xu외 2명|arXiv (Cornell University)|2020. 06. 21.

Multimodal Machine Learning Applications참고 문헌 37인용 수 27

한 줄 요약

이 논문은 이미지의 의미를 텍스트 캡션과 더 잘 일치시키기 위해 약한 지도 학습을 활용한 다중 예제 학습을 사용하여 캡션 유도 시각적 관계 그래프(CGVRG)를 구성하는 새로운 이미지 캡션 생성 프레임워크를 제안한다. 문맥 노드 특징을 통해 표현을 강화하고, 단어 및 객체/술어 태그를 동시에 예측하기 위한 다중 태스크 학습을 적용함으로써, MSCOCO에서 최신 기술 수준의 성능을 달성하여 CIDEr-D 및 SPICE와 같은 여러 평가 지표에서 이전 방법을 능가한다.

ABSTRACT

Image captioning is a multimodal problem that has drawn extensive attention in both the natural language processing and computer vision community. In this paper, we present a novel image captioning architecture to better explore semantics available in captions and leverage that to enhance both image representation and caption generation. Our models first construct caption-guided visual relationship graphs that introduce beneficial inductive bias using weakly supervised multi-instance learning. The representation is then enhanced with neighbouring and contextual nodes with their textual and visual features. During generation, the model further incorporates visual relationships using multi-task learning for jointly predicting word and object/predicate tag sequences. We perform extensive experiments on the MSCOCO dataset, showing that the proposed framework significantly outperforms the baselines, resulting in the state-of-the-art performance under a wide range of evaluation metrics.

연구 동기 및 목표

• 캡션에서 유도하는 의미적 단서를 활용하여 이미지 표현과 캡션 생성을 향상시키는 데 있어 발생하는 격차를 해소하기 위해.
• 실제 객체 영역이 모호할 경우 술어를 객체 영역에 연결하는 데의 모호성을 약한 지도 학습을 활용한 다중 예제 학습으로 해결하기 위해.
• 시각적 및 텍스처적 특징을 모두 활용하여 인접 및 문맥적 노드를 통합함으로써 이미지 표현을 향상시키기 위해.
• 다중 태스크 학습을 통해 객체 및 술어 제약 조건을 명시적으로 모델링하여 캡션 생성 과정을 정규화하기 위해.
• MSCOCO 이미지 캡션 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 정답 캡션에서 술어-객체 쌍을 탐지하기 위해 약한 지도 학습을 활용한 다중 예제 학습을 사용하여 캡션 유도 시각적 관계 그래프(CGVRG)를 구축한다.
• 그래프 컬러이션 네트워크(GCNs)를 사용하여 인접 및 문맥적 노드의 특징을 집계함으로써 노드 표현을 강화한다.
• 노드의 텍스트적 및 시각적 특징을 통합된 표현으로 통합하여 의미 이해를 향상시킨다.
• 캡션 생성 중에 단어 시퀀스와 태그 시퀀스(객체, 술어, 없음)를 동시에 예측하기 위해 다중 태스크 학습을 구현한다.
• 태그 예측을 통해 디코더가 관련 시각적 관계에 주의를 기울이도록 유도함으로써 생성된 캡션에 구조적 제약 조건을 강제한다.
• 모델을 교차 엔트로피 및 강화 학습(RLO) 전략을 병행하여 강력한 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 캡션 유도 시각적 관계 그래프는 이미지와 캡션 간의 의미를 더 잘 일치시켜 이미지 표현을 향상시킬 수 있는가?
• RQ2 정답 객체 영역이 모호할 경우 약한 지도 학습을 활용한 다중 예제 학습은 관련 시각적 관계를 탐지하는 데 어떻게 기여하는가?
• RQ3 단어 및 태그 시퀀스 예측을 동시에 수행하는 다중 태스크 학습은 캡션 품질과 구조적 일관성에 얼마나 기여하는가?
• RQ4 그래프 컬러이션을 통해 인접 및 문맥적 노드 특징을 통합하면 캡션 생성 성능이 향상되는가?
• RQ5 제안된 프레임워크는 MSCOCO 데이터셋에서 여러 평가 지표에서 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• 제안된 모델은 교차 엔트로피 최적화 하에 MSCOCO 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, CIDEr-D 점수는 118.1, SPICE 점수는 21.2를 기록하였다.
• 제거 실험을 통해 그래프 컬러이션과 다중 태스크 학습이 모두 캡션 품질 향상에 크게 기여하며, 전체 모델이 제거된 변형보다 뛰어난 성능을 보였다.
• 인간 평가 결과, 모델의 캡션은 Up-Down 대비 충실도(44%의 이미지), 정보성(60%), 자연스러움(18%)에서 유의미하게 뛰어난 품질을 보였다.
• 모델는 예측된 단어에 대해 올바른 태그 확률을 성공적으로 학습하였으며, 특히 술어 태그(예: '비행 중')와 객체 태그(예: '새')에 대해 높은 신뢰도를 보였다.
• 모델는 훈련 세트에서 볼 수 없었던 새로운 시각적 관계 조합을 생성하였으며, 예를 들어 (테이블, ~로 채워져 있음, 음식)와 같은 조합을 통해 일반화 능력 향상을 보였다.
• CIDEr-D 및 SPICE 등 모든 평가 지표에서 Up-Down, GCN-LSTM, SGAE와 같은 강력한 베이스라인을 뛰어넘었으며, 일관된 성능 향상을 보였다.