[논문 리뷰] Generating Diverse and Accurate Visual Captions by Comparative Adversarial Learning

Dianqi Li, Qiuyuan Huang외 3명|arXiv (Cornell University)|2018. 04. 03.

Multimodal Machine Learning Applications참고 문헌 42인용 수 43

한 줄 요약

본 논문은 비교적 적대 학습(CAL) 프레임워크를 제안하며, 비교적 관련성 판별기와 정책-그래디언트 학습을 활용해 이미지마다 정확하고 다양하게 캡션을 생성하고, 다양한 측면에서 베이스라인보다 우수한 다양성과 인간 판단과의 일치를 달성한다.

ABSTRACT

We study how to generate captions that are not only accurate in describing an image but also discriminative across different images. The problem is both fundamental and interesting, as most machine-generated captions, despite phenomenal research progresses in the past several years, are expressed in a very monotonic and featureless format. While such captions are normally accurate, they often lack important characteristics in human languages - distinctiveness for each caption and diversity for different images. To address this problem, we propose a novel conditional generative adversarial network for generating diverse captions across images. Instead of estimating the quality of a caption solely on one image, the proposed comparative adversarial learning framework better assesses the quality of captions by comparing a set of captions within the image-caption joint space. By contrasting with human-written captions and image-mismatched captions, the caption generator effectively exploits the inherent characteristics of human languages, and generates more discriminative captions. We show that our proposed network is capable of producing accurate and diverse captions across images.

연구 동기 및 목표

• 이미지 간에 단순히 정확하기만 한 것이 아니라 다양성도 갖춘 캡션 생성을 동기화한다.
• 이미지 캡션화를 위한 새로운 비교적 적대 학습 프레임워크를 도입한다.
• 캡션 생성기를 인간이 만든 캡션과 무관한 캡션을 비교하는 비교적 관련성 판별기를 활용하여 인간과 유사한 다양성으로 안내한다.
• 다양성 평가를 위한 의미 수준의 캡션 다양성 메트릭을 제시한다.
• MSCOCO에서 다양성 향상과 베이스라인 대비 경쟁력 있는 정확성을 보인다.

제안 방법

• 랜덤 입력 z를 통해 확률적 변이를 도입할 수 있는 인코더-디코더 아키텍처 기반 캡션 생성기 G를 도입한다.
• 이미지-캡션 공동공간에서 후보 캡션과 인간이 작성한 캡션, 무관한 캡션을 비교하여 캡션을 순위를 매기는 비교적 관련성 판별기 D를 제안한다.
• 캡션 임베딩과 이미지 특성 간의 코사인 유사도에 대한 소프트맥스(softmax)로 정의된 비교 관련성 점수(cr-score)를 정의한다(식(3)).
• 생성된 토큰마다 중간 보상 Q를 근사하기 위해 K개의 롤아웃 시뮬레이션을 사용하여 정책 기울기로 G를 학습한다(식(5)–(8)).
• 두 가지 방식으로 학습: 먼저 G를 MLE로 예비 학습하고, 비교적 목표로 D를 예비 학습한 뒤, 롤아웃 크기 K와 소프트맥스 스케일링을 위한 감마 매개변수를 사용한 공동 적대 학습을 수행한다.

실험 결과

연구 질문

• RQ1 비교적 적대 학습이 이미지 간 캡션 다양성을 향상시키면서 정확성을 유지할 수 있는가?
• RQ2 비교 집합에 인간이 작성한 캡션을 포함시키면 판별기가 생성기에 더 풍부한 보상을 제공하는가?
• RQ3 CAL은 이진 판별기(G-GAN) 및 표준 MLE에 비해 다양성과 자동/인간 평가 품질 측면에서 어떤 차이가 있는가?
• RQ4 의미 수준의 다양성 메트릭이 크로스-이미지 캡션 다양성을 효과적으로 포착하는가?
• RQ5 샘플링, 노이즈 벡터, 비교적 판별기와 같은 구성요소가 다양성에 미치는 영향은 어떠한가?

주요 결과

• CAL은 MSCOCO 테스트 세트에서 자동 지표에 따라 베이스라인보다 더 높은 다양성을 달성하면서도 경쟁력 있는 정확성을 유지한다.
• 인간 평가에서 CAL 캡션이 MLE 및 G-GAN 캡션보다 선호되며 CAL이 인간에 더 근접한 서술을 제시한다.
• CAL은 캡션-이미지 검색 정확도를 향상시켜 G-GAN 및 MLE를 능가하며 더 나은 판별 가능성과 다양성을 시사한다.
• 캡션 임베딩 특성에 기반한 의미 수준의 다양성 지표가 크로스-이미지 다양성을 포착하고 CAL의 우수성을 보여준다.
• 다양성 향상을 위한 비교적 판별기와 롤아웃 기반 보상의 이점이 실험적으로 확인된다.