[논문 리뷰] Show, Tell and Discriminate: Image Captioning by Self-retrieval with Partially Labeled Data

Xihui Liu, Hongsheng Li외 3명|arXiv (Cornell University)|2018. 03. 22.

Multimodal Machine Learning Applications인용 수 31

한 줄 요약

이 논문은 검색 성능을 학습 신호로 사용하여 캡션의 특징성과 다양성을 향상시키는 자기 검색 유도 이미지 캡셔닝 프레임워크를 제안한다. 레이블이 있는 이미지와 없는 이미지를 모두 활용하여, 텍스트-이미지 검색을 통해 캡션 품질을 평가하는 자기 검색 모듈을 도입함으로써, 더 유일하고 다양한, 특징적인 캡션을 생성한다. COCO 및 Flickr30k 데이터셋에서 최신 기준 성능을 달성하며, 재현율과 신선도 지표가 향상되었다.

ABSTRACT

The aim of image captioning is to generate captions by machine to describe image contents. Despite many efforts, generating discriminative captions for images remains non-trivial. Most traditional approaches imitate the language structure patterns, thus tend to fall into a stereotype of replicating frequent phrases or sentences and neglect unique aspects of each image. In this work, we propose an image captioning framework with a self-retrieval module as training guidance, which encourages generating discriminative captions. It brings unique advantages: (1) the self-retrieval guidance can act as a metric and an evaluator of caption discriminativeness to assure the quality of generated captions. (2) The correspondence between generated captions and images are naturally incorporated in the generation process without human annotations, and hence our approach could utilize a large amount of unlabeled images to boost captioning performance with no additional laborious annotations. We demonstrate the effectiveness of the proposed retrieval-guided method on COCO and Flickr30k captioning datasets, and show its superior captioning performance with more discriminative captions.

연구 동기 및 목표

• 기존의 이미지 캡셔닝 모델이 훈련 데이터에서 흔히 나타나는 어휘 패턴을 반복하여 생성하는 일반적이고 패턴화된 캡션 문제를 해결하기 위해.
• 추가적인 인간 애너테이션에 의존하지 않고도 생성된 캡션의 특징성을 향상시키기 위해.
• 이미지와 생성된 캡션 간의 자연스러운 대응 관계를 활용하여 대규모의 레이블이 없는 이미지를 효과적으로 활용하기 위해.
• 검색 성능에 기반해 캡션 품질을 평가하는 학습 신호를 개발하여, 정확성과 고유성을 동시에 향상시키기 위해.

제안 방법

• 프레임워크는 이미지에서 캡션을 생성하는 캡셔닝 모듈과 생성된 캡션을 쿼리로 사용해 텍스트-이미지 검색을 수행하는 자기 검색 모듈으로 구성된다.
• 자기 검색 모듈은 검색 손실을 통해 미분 가능한 보상 신호를 제공하며, 이는 REINFORCE 알고리즘을 사용해 캡셔닝 모델의 최적화에 역전파된다.
• 레이블이 있는 이미지의 경우, 참조 캡션과 자기 검색을 모두 사용해 보상을 계산하고, 레이블이 없는 이미지의 경우 자기 검색만을 사용함으로써, 준감독 학습이 가능해진다.
• 어려운 음성 샘플은 참조 캡션과의 유사도 기반 순서 정렬을 통해 레이블이 없는 데이터에서 추출되며, 최적의 범위 [100, 1000]이 학습에 선택되었다.
• 이 방법은 이중 목적을 가진다: MLE를 통한 캡셔닝 정확도 최적화와 검색 기반 강화 학습을 통한 특징성 향상.
• 모델는 통합 손실을 통해 엔드 투 엔드로 학습되며, 캡셔닝 생성을 위한 교차 엔트로피 손실과 강화 학습 신호로 음성 검색 손실이 함께 사용된다.

실험 결과

연구 질문

• RQ1 자기 검색 성능는 캡션의 특징성을 향상시키기 위한 효과적인 자기지도 신호로 기능할 수 있는가?
• RQ2 추가 애너테이션 없이도 레이블이 없는 이미지를 효과적으로 활용할 수 있는 방법은 무엇인가?
• RQ3 검색 기반 보상 구조를 통합하면 생성된 캡션의 고유성과 신선도가 향상되는가?
• RQ4 준감독 캡셔닝 설정에서 레이블이 있는 이미지와 없는 이미지 간의 최적의 비율은 무엇인가?
• RQ5 레이블이 없는 데이터에서 어려운 음성 샘플을 추출하는 과정이 특징적인 캡션 생성 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 COCO 및 Flickr30k에서 최신 기준 성능을 달성하였으며, COCO Karpathy 테스트 세트에서 Recall@1이 33.0%로 기존 베이스라인 모델보다 뚜렷이 뛰어나다.
• 모델는 텍스트-이미지 검색 성능를 크게 향상시켰으며, 이는 생성된 캡션이 더 특징적이고 소스 이미지를 더 잘 식별함을 시사한다.
• COCO에서 모델는 72.34%의 고유 캡션과 61.52%의 새로운 캡션을 생성하였으며, 각각 기존 베이스라인의 61.56%와 51.38%보다 뚜렷이 향상되었다.
• 최적의 학습 데이터 비율은 레이블이 있는 이미지 대비 레이블이 없는 이미지의 비율이 1:1이며, 이 비율에서 가장 높은 성능가 관찰되었다.
• 상위 1000개의 가장 유사한 레이블이 없는 이미지에서 어려운 음성 샘플을 추출하면 최고의 성능를 기록하였으며, 이는 너무 유사한 배경 이미지에 과적합되는 것을 방지한다.
• 모델는 높은 정확도를 유지하면서도 특징성을 크게 향상시켰으며, 이는 이전의 GAN 기반 또는 다양성 최적화 방법에서 흔히 관찰되던 다양성과 성능 간의 상충관계를 피했다.