[논문 리뷰] Towards Diverse and Natural Image Descriptions via a Conditional GAN

Bo Dai, Sanja Fidler외 2명|arXiv (Cornell University)|2017. 03. 17.

Multimodal Machine Learning Applications참고 문헌 31인용 수 108

한 줄 요약

논문은 조건부 GAN 프레임워크(생성기와 평가자)를 도입하여 정책 경사와 몬테카를로 롤아웃을 이용한 학습으로 다양하고 자연스러우며 시각적으로 충실한 이미지 설명을 생성하고, MLE 기반 방법보다 인간 판단과의 정렬이 더 좋음을 보인다.

ABSTRACT

Despite the substantial progress in recent years, the image captioning techniques are still far from being perfect.Sentences produced by existing methods, e.g. those based on RNNs, are often overly rigid and lacking in variability. This issue is related to a learning principle widely used in practice, that is, to maximize the likelihood of training samples. This principle encourages high resemblance to the "ground-truth" captions while suppressing other reasonable descriptions. Conventional evaluation metrics, e.g. BLEU and METEOR, also favor such restrictive methods. In this paper, we explore an alternative approach, with the aim to improve the naturalness and diversity -- two essential properties of human expression. Specifically, we propose a new framework based on Conditional Generative Adversarial Networks (CGAN), which jointly learns a generator to produce descriptions conditioned on images and an evaluator to assess how well a description fits the visual content. It is noteworthy that training a sequence generator is nontrivial. We overcome the difficulty by Policy Gradient, a strategy stemming from Reinforcement Learning, which allows the generator to receive early feedback along the way. We tested our method on two large datasets, where it performed competitively against real people in our user study and outperformed other methods on various tasks.

연구 동기 및 목표

• fidelity-전용 캡션 작성에서 벗어나 이미지 설명의 자연스러움과 다양성을 촉진한다.
• 이미지 조건화된 다양한 인간-like 문장을 생성하는 생성기(G)를 학습한다.
• 자연스러운/설명적인 문장과 인공적인 문장을 구분하도록 평가자(E)를 학습하여 생성을 안내한다.
• 단일 문장과 설명 단락 모두를 생성할 수 있는 프레임워크를 제공한다.
• 전통적인 지표보다 인간 판단과의 상관관계가 더 높은 평가자를 제시한다.

제안 방법

• 이미지 특징 f(I)와 임의 벡터 z로 조건화된 LSTM 디코더로 구현된 생성기 G를 사용한다.
• 이미지와 문장 표현을 임베딩하고 점곱 뒤 시그모이드로 점수를 매기는 평가자 E를 사용한다.
• 의미론적 관련성 및 자연스러움을 최적화하기 위해 최소극대(Minimax) 목적 함수 L(G,E)를 형식화한다.
• 몬테카를로 롤아웃을 통한 조기 피드백을 제공하기 위해 추정된 기대 미래 보상 V를 사용한 정책 경사로 G를 학습한다.
• 계층적 LSTM과 이에 상응하는 계층적 평가자를 통해 단락 생성을 확장한다.
• 먼저 G에 대해 MLE로 예비 학습하고 E에 대해 감독 목표를 학습한 뒤, 이후 G와 E를 경쟁적 루프에서 공동 학습한다.
• 평가를 위해 빔 검색은 가능도 대신 E의 기대 보상을 사용한다.

실험 결과

연구 질문

• RQ1 조건부 GAN 프레임워크가 MLE로 학습된 baselines보다 더 자연스럽고 다양하게 이미지 설명을 생성할 수 있는가?
• RQ2 대립적 평가자가 전통적인 n-그램 기반 지표보다 인간 판단에 더 가깝게 정렬하는가?
• RQ3 제안된 방법이 COCO와 Flickr30k 데이터셋에서 MLE 기반 캡션과 비교하여 어떤 성능을 보이는가?
• RQ4 계층적 접근을 통해 프랩그래프 수준의 설명으로 프레임워크가 효과적으로 확장되는가?

주요 결과

• G-MLE가 여러 전통 지표에서 인간보다 더 높은 점수를 달성하여 지표의 한계를 강조한다.
• G-GAN이 일반적으로 G-MLE보다 더 자연스럽고 다양하게 설명을 생성하는 경향이 있으며, 이는 사용자 연구 및 정성적 결과로 뒷받침된다.
• E-GAN 및 E-NGAN 평가자는 BLEU/CIDEr/SPICE만으로보다 인간 판단에 더 잘 상관한다.
• 검색 실험에서 G-GAN 생성 설명이 올바른 이미지를 더 잘 구별하고 검색하는 데 기여한다(상위-k 재현율이 높음).
• GAN 프레임워크로 학습된 평가자는 전통 지표보다 인간 평가와 더 일관된다.
• 계층적 확장을 통한 단락 생성은 단일 문장 결과와 유사한 다양성과 자연스러움을 유지한다.