[論文レビュー] Towards Diverse and Natural Image Descriptions via a Conditional GAN

Bo Dai, Sanja Fidler+2 more|arXiv (Cornell University)|Mar 17, 2017

Multimodal Machine Learning Applications参考文献 31被引用数 108

ひとこと要約

この論文は、ポリシー勾配とモンテカルロロールアウトを用いた訓練で、自然で多様かつ視覚的に忠実な画像説明を生成する条件付きGANフレームワーク（生成器と評価器）を導入し、MLEベースの方法より人間の判断と整合することを示す。

ABSTRACT

Despite the substantial progress in recent years, the image captioning techniques are still far from being perfect.Sentences produced by existing methods, e.g. those based on RNNs, are often overly rigid and lacking in variability. This issue is related to a learning principle widely used in practice, that is, to maximize the likelihood of training samples. This principle encourages high resemblance to the "ground-truth" captions while suppressing other reasonable descriptions. Conventional evaluation metrics, e.g. BLEU and METEOR, also favor such restrictive methods. In this paper, we explore an alternative approach, with the aim to improve the naturalness and diversity -- two essential properties of human expression. Specifically, we propose a new framework based on Conditional Generative Adversarial Networks (CGAN), which jointly learns a generator to produce descriptions conditioned on images and an evaluator to assess how well a description fits the visual content. It is noteworthy that training a sequence generator is nontrivial. We overcome the difficulty by Policy Gradient, a strategy stemming from Reinforcement Learning, which allows the generator to receive early feedback along the way. We tested our method on two large datasets, where it performed competitively against real people in our user study and outperformed other methods on various tasks.

研究の動機と目的

• fidelity のみを超え自然さと多様性を促進するキャプション作成を目指す。
• 画像を条件とした多様で人間らしい文を生成する生成器を学習する。
• 評価器を訓練して自然さ/記述性と人工性を区別し、生成を導く。
• 単一文と記述的な段落の両方を生成できるフレームワークを提供する。
• 従来指標より人間の判断と相関する評価器を提供する。

提案手法

• 画像特徴 f(I) と乱数ベクトル z を条件とする生成器 G を、LSTMデコーダとして実装。
• 画像と文表現を埋め込み、ドット積を介してシグモイドでスコアリングする評価器 E を用いる。
• 意味的関連性と自然さを最適化するミニマックス目的関数 L(G,E) を定式化する。
• Monte Carlo ロールアウトで将来報酬 V を推定して早期フィードバックを提供するポリシー勾配で G を訓練する。
• 階層的LSTMと対応する階層評価器を用いて段落生成に拡張する。
• G のMLE事前訓練と E の監視学習 objective で初期化し、その後敵対的ループで G と E を共同訓練する。
• 評価には likelihood ではなく E からの期待報酬をビーム探索に用いる。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANフレームワークはMLE訓練ベースラインより自然で多様な画像説明を生成できるか。
• RQ2 敵対的評価器は従来のn-gramベース指標より人間の判断に近い整合性を持つか。
• RQ3 COCOとFlickr30kのデータセットで提案手法はMLEベースのキャプショニングと比較してどうか。
• RQ4 階層的アプローチを通じて段落レベルの記述へ効果的に拡張できるか。

主な発見

BLEU-3	BLEU-4	METEOR	ROUGE_L	CIDEr	SPICE	E-NGAN	E-GAN
COCO	human	0.290	0.192	0.240	0.465	0.849	0.211	0.527	0.626
COCO	G-MLE	0.393	0.299	0.248	0.527	1.020	0.199	0.464	0.427
COCO	G-GAN	0.305	0.207	0.224	0.475	0.795	0.182	0.528	0.602
Flickr	human	0.269	0.185	0.194	0.423	0.627	0.159	0.482	0.464
Flickr	G-MLE	0.372	0.305	0.215	0.479	0.767	0.168	0.465	0.439
Flickr	G-GAN	0.153	0.088	0.132	0.330	0.202	0.087	0.582	0.456

• G-MLE は複数の従来指標で人間を上回るスコアを達成し、指標の限界を示唆。
• G-GAN はMLE-ベースより自然で多様な記述を生み出すことが多く、ユーザー調査と定性的結果で支持。
• E-GAN および E-NGAN の評価器は BLEU/CIDEr/SPICE のみより人間の判断と高い相関を示す。
• retrieval 実験で G-GAN 生成の記述が画像を識別・検索する際に高い top-k リコールを示す。
• GAN フレームワークで訓練された評価器は従来指標より人間の評価と一貫性がある。
• 階層拡張による段落生成は単一文結果と同様に多様性と自然さを維持。