[논문 리뷰] Context-aware Captions from Context-agnostic Supervision

Ramakrishna Vedantam, Samy Bengio외 3명|arXiv (Cornell University)|2017. 01. 11.

Multimodal Machine Learning Applications참고 문헌 39인용 수 25

한 줄 요약

이 논문은 일반적인 훈련 데이터만을 사용하여 맥락에 의존하지 않는 이미지 캡션 모델이 맥락 인식 가능하고 구분력 있는 캡션을 생성할 수 있도록 하는 새로운 추론 방법을 제안한다. 말하는 이(캡션 생성기)와 듣는 이(분류기)를 함께 고려하여 추론함으로써, 추가 훈련 없이도 기준 모델보다 우수한 성능을 내며, CUB-200-2011 및 COCO 데이터셋에서 최신 기술 수준의 결과를 달성한다.

ABSTRACT

We introduce an inference technique to produce discriminative context-aware image captions (captions that describe differences between images or visual concepts) using only generic context-agnostic training data (captions that describe a concept or an image in isolation). For example, given images and captions of "siamese cat" and "tiger cat", we generate language that describes the "siamese cat" in a way that distinguishes it from "tiger cat". Our key novelty is that we show how to do joint inference over a language model that is context-agnostic and a listener which distinguishes closely-related concepts. We first apply our technique to a justification task, namely to describe why an image contains a particular fine-grained category as opposed to another closely-related category of the CUB-200-2011 dataset. We then study discriminative image captioning to generate language that uniquely refers to one of two semantically-similar images in the COCO dataset. Evaluations with discriminative ground truth for justification and human studies for discriminative image captioning reveal that our approach outperforms baseline generative and speaker-listener approaches for discrimination.

연구 동기 및 목표

• 일반적이고 맥락에 의존하지 않는 훈련 데이터만을 사용하여 맥락 인식 가능하고 구분력 있는 캡션을 생성할 수 있도록 이미지 캡션 모델을 가능하게 하는 것.
• 세분화된 시각적 구분을 위해 인간이 수작업한 맥락 기반 캡션을 수집하는 데 드는 높은 비용과 확장성 문제를 해결하는 것.
• 캡션 생성 모델을 재학습하지 않고도 말하는 이와 듣는 이의 행동을 함께 최적화하는 통합된 추론 프레임워크를 개발하는 것.
• 두 가지 실제 비전 작업, 즉 설명 제시(타겟 클래스에 속하는 이미지가 속한 이유를 다른 클래스와 대비하여 설명하는 것)와 구분력 있는 이미지 캡션(의미적으로 유사한 이미지들 중에서 한 장의 이미지를 유일하게 식별하는 것)에 대해 이 방법을 평가하는 것.
• 세분화된 새 이미지에 대해 설명 제시 시스템을 평가하기 위한 새로운 벤치마크 데이터셋인 CUB-Justify를 만드는 것.

제안 방법

• 사전 훈련된 맥락에 의존하지 않는 캡션 생성 모델과 분류기 기반의 듣는 이 모델을 함께 고려하여 맥락 인식 가능한 캡션을 생성하는 내성적 말하는 이(IS) 모델을 제안한다.
• 듣는 이의 로그우도 비율을 기반으로 한 재정렬 기법을 사용하여 생성된 캡션이 타겟 이미지와 대조 이미지를 얼마나 잘 구분하는지 평가한다.
• 유창성과 구분력의 균형을 맞추기 위해 온도 조절 샘플링 기법(λ로 파arameterized)이 적용된 빔 서치 전략을 사용한다.
• 말하는 이 모델을 스스로의 출력을 내성적으로 고려하도록 조정하여, 추가적인 분류 데이터에 대한 재학습이 필요 없도록 한다.
• 캡션 품질 평가를 위해 별도의 분류 모델을 학습할 필요 없이 생성 모델의 샘플링 분포를 재사용한다.
• 이 방법을 두 가지 작업에 적용한다: CUB-200-2011에서의 설명 제시와 COCO에서의 구분력 있는 캡션 생성이며, 평가를 위해 인간 수작업 기반의 진짜값을 사용한다.

실험 결과

연구 질문

• RQ1 맥락에 의존하지 않는 캡션 생성 모델이 듣는 이 모델과의 추론 시간 상호작용만을 통해 미세조정 없이도 구분력 있는 캡션을 생성할 수 있는가?
• RQ2 말하는 이와 듣는 이에 대한 공동 추론 방식이 샘플링-재정렬 기반 기준 모델 대비 맥락 인식 가능한 캡션 생성에서 어떤가?
• RQ3 사전 훈련된 캡션 생성 모델이 일반적인 감독만을 사용하여 어떻게 실용적이고 구분력 있는 서술을 생성하도록 적응시킬 수 있는가?
• RQ4 제안된 내성적 말하는 이 프레임워크가 의미적으로 유사한 이미지들 사이에서 구분 가능한 캡션을 생성하는 데 기존 방법보다 뛰어난가?
• RQ5 이 방법은 특정 새 종이 다른 유사 종이 아닌 이유를 설명하는 이유 제시를 얼마나 효과적으로 생성하는가?

주요 결과

• 제안된 내성적 말하는 이(IS) 방식은 CUB-Justify 검증 세트에서 CIDEr-D 점수 18.4 ± 0.2를 기록하여 RS(λ) 기준 모델과 훈련된 듣는 이 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• IS(λ) 모델은 빔 크기가 10일 때조차 RS(λ) 기준 모델보다 우수한 성능을 보였으며, RS(λ)는 성능을 따라잡기 위해 100개의 샘플이 필요로 했는데, 이는 IS(λ)의 추론 효율성이 뛰어나다는 것을 시사한다.
• 훈련된 듣는 이 기준 모델(RS(λ)-TL)는 λ=0.5일 때 CIDEr-D 점수 16.2 ± 0.3을 기록했고, 이는 IS(λ) 모델의 18.4 ± 0.2보다 낮아, 공동 추론 방식이 별도의 듣는 이 학습보다 더 효과적임을 나타낸다.
• COCO 데이터셋에서의 인간 평가 결과, IS(λ) 모델이 생성한 캡션은 기준 모델에 비해 더 구분력 있고 맥락 인식 가능하다고 평가되었다.
• 이 방법은 추가적인 훈련 없이도 기존의 맥락 없는 캡션 생성 모델을 맥락 인식 가능한 캡션 생성 모델로 변환할 수 있도록 해주며, 오직 추론 단계의 수정만으로 가능하다.
• CUB-Justify 데이터셋은 3161개의 (이미지, 타겟 클래스, 대조 클래스) 트리플릿을 포함하며, 각 트리플릿에 5개의 설명이 포함되어 있어, 구분력 있는 캡션과 설명 제시 시스템 평가를 위한 새로운 벤치마크를 제공한다.