[論文レビュー] Diverse and Accurate Image Description Using a Variational Auto-Encoder with an Additive Gaussian Encoding Space

Liwei Wang, Alexander G. Schwing+1 more|arXiv (Cornell University)|Nov 19, 2017

Multimodal Machine Learning Applications参考文献 33被引用数 65

ひとこと要約

この論文は、複数のガウス成分で潜在空間を構造化し、より多様で正確な画像キャプションを生成する2つのCVAEベースモデル（GMM-CVAEとAG-CVAE）を提案。MSCOCOで vanilla CVAEとLSTMを上回り、AG-CVAEはより多様性と制御性を提供。

ABSTRACT

This paper explores image caption generation using conditional variational auto-encoders (CVAEs). Standard CVAEs with a fixed Gaussian prior yield descriptions with too little variability. Instead, we propose two models that explicitly structure the latent space around $K$ components corresponding to different types of image content, and combine components to create priors for images that contain multiple types of content simultaneously (e.g., several kinds of objects). Our first model uses a Gaussian Mixture model (GMM) prior, while the second one defines a novel Additive Gaussian (AG) prior that linearly combines component means. We show that both models produce captions that are more diverse and more accurate than a strong LSTM baseline or a "vanilla" CVAE with a fixed Gaussian prior, with AG-CVAE showing particular promise.

研究の動機と目的

• 多様で正確な画像キャプションを固定ガウス事前分布を超えて動機づける。
• 画像内容モードに対応する複数のガウス成分で潜在空間を構造化する。
• Gaussian Mixture Model (GMM) priorとAdditive Gaussian (AG) priorの2つの事前分布を開発する。
• ベースラインより多様性と正確性を改善し、キャプション生成を制御可能にする。

提案手法

• 画像キャプション付けのためにCVAEフレームワークを拡張し、画像内容ベクトル c(I) に条件付ける。
• GMM-CVAE を導入する：事前分布 p(z|c) を重み c と成分 (μ_k, σ_k) を持つガウス混合として表現。
• AG-CVAE を導入する：事前分布 p(z|c) を成分平均の線形結合として表現し、重み c_k を用い p(z|c) = N(z | sum_k c_k μ_k, σ^2 I) を得る。
• 両方の事前分布に対して処理可能な KL 項を導出し、エンコーダ q_φ(z|x,c) を訓練する。
• 訓練には真のオブジェクトアノテーションを使用し、テスト時には物体検出で c(I) を取得する。
• エンコーダ/デコーダのアーキテクチャはLSTMに基づき、z は画像内容に条件付けされた事前分布から採取される。バックプロパゲーションには再パラメータ化トリックを使用。

実験結果

リサーチクエスチョン

• RQ1 潜在空間を複数のガウス成分で構造化することで、精度を損なうことなくキャプションの多様性を高められるか。
• RQ2 GMM-CVAEとAG-CVAEはMSCOCOにおいて vanilla CVAEおよびLSTMよりも多様で制御可能なキャプションを生み出すか。
• RQ3 事前分布の選択（GMM vs Additive Gaussian）は多様性、制御性、再ランキング性能にどのように影響するか。
• RQ4 AG-CVAE は物体の共起をよりうまく捉え、内容ベースのキャプション制御を可能にするのに有効か。

主な発見

テーブルヘッダ	Table 1: Oracleのパフォーマンス指標	Table 2: コンセンサスリランキング性能（CIDErベース）	Table 3: 多様性評価（ユニーク/新規文）
オブジェクト	#z	std	beam	B4	B3	B2	B1	C	R	M	S
LSTM	-	-	10	0.413	0.515	0.643	0.790	1.157	0.597	0.285	0.218
LSTM	✓	-	10	0.428	0.529	0.654	0.797	1.202	0.607	0.290	0.223
CVAE	-	20	0.1	-	0.261	0.381	0.538	0.742	0.860	0.531	0.246	0.184
CVAE	✓	20	2	-	0.312	0.421	0.565	0.733	0.910	0.541	0.244	0.176
GMM-CVAE	-	20	0.1	-	0.371	0.481	0.619	0.778	1.080	0.582	0.274	0.209
GMM-CVAE	✓	20	2	-	0.423	0.533	0.666	0.813	1.216	0.617	0.298	0.233
GMM-CVAE	✓	100	2	-	0.494	0.597	0.719	0.856	1.378	0.659	0.325	0.261
GMM-CVAE	✓	100	2	2	0.527	0.625	0.740	0.865	1.430	0.670	0.329	0.277
AG-CVAE	-	20	0.1	-	0.431	0.537	0.668	0.814	1.230	0.622	0.300	0.235
AG-CVAE	✓	20	2	-	0.451	0.557	0.686	0.829	1.259	0.630	0.305	0.243
AG-CVAE	✓	100	2	-	0.532	0.631	0.749	0.876	1.478	0.682	0.342	0.278
AG-CVAE	✓	100	2	2	0.557	0.654	0.767	0.883	1.517	0.690	0.345	0.277

• GMM-CVAE と AG-CVAE は標準キャプション指標の上限オラクル評価において LSTM ベースラインおよび通常の CVAE を上回る。
• AG-CVAE は一般に GMM-CVAE より多様性と制御性が高く、画像ごとのより多くの固有キャプションと内容ベクトルへの応答性が良い。
• コンセンサスリランキングは CIDEr ベースで基準を上回り、AG-CVAE はやや高いスコアを達成。
• CVAE 変種は複数の z サンプルを活用することで、多様性が LSTM ビーム探索よりも大幅に高くなる（表3）。
• AG-CVAE は content ベクトル c(I) を変更することでキャプションを直感的かつ解釈可能に制御可能にする。