[論文レビュー] Contrastive Learning for Image Captioning

Bo Dai, Dahua Lin|arXiv (Cornell University)|Oct 6, 2017

Multimodal Machine Learning Applications被引用数 92

ひとこと要約

この論文は画像キャプション生成のための対照学習(CL)を導入し、固定された参照モデルを用いてターゲットモデルを異なるが高品質なキャプションへと導く。MSCOCOとInstaPIC-1.1Mの複数の指標で改善結果を示す。

ABSTRACT

Image captioning, a popular topic in computer vision, has achieved substantial progress in recent years. However, the distinctiveness of natural descriptions is often overlooked in previous work. It is closely related to the quality of captions, as distinctive captions are more likely to describe images with their unique aspects. In this work, we propose a new learning method, Contrastive Learning (CL), for image captioning. Specifically, via two constraints formulated on top of a reference model, the proposed method can encourage distinctiveness, while maintaining the overall quality of the generated captions. We tested our method on two challenging datasets, where it improves the baseline model by significant margins. We also showed in our studies that the proposed method is generic and can be used for models with various structures.

研究の動機と目的

• 伝統的な精度指標を超えた画像キャプションの独自性の重要性を喚起する。
• 全体的なキャプション品質を保ちつつ独自性を促進する学習フレームワークを提案する。
• 固定された参照モデルがキャプションの独自性向上に安定した指針を提供できることを示す。
• CLを異なるキャプション生成アーキテクチャおよびデータセットに適用して汎用性を示す。

提案手法

• パラメータ theta を持つターゲットモデル p_m と、パラメータ phi を持つ固定参照モデル p_n を定義する。
• 正例 (I,c) と負例 (I,c_/) のペアを生成する。ここで c は画像 I の正解キャプションで、c_/I は I に対して不一致のキャプションである。
• 対数比 G((c,I);theta,phi)=ln p_m(c|I,theta) - ln p_n(c|I,phi) とロジスティック飽和関数 h((c,I);theta,phi)=r_nu(G((c,I);theta,phi)) を用いる。
• 目的関数 J(theta)= (1/K)(1/T_m) sum_{k=1}^K L(theta; X, Y_k, phi) を最大化する。ここで L は正例と負例のペアに対する対数尤度である。
• nu = T_n/T_m (通常 nu=1) を設定して正例と負例のサンプルをバランスさせ、X を複製して多様な Y をサンプリングする。
• CLは様々なベースモデル（例: Neuraltalk2, AdaptiveAttention）の上に組み合わせ可能で、MLE pretrainingと互換性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 正例/負例の対照性を伴う固定参照モデルの導入が、全体的なキャプション品質を損ねることなく、キャプションの独自性を向上させるか？
• RQ2 CLはデータセットとモデルアーキテクチャを横断して、標準的なキャプション指標（BLEU, METEOR, ROUGE-L, CIDEr）にどのような影響を及ぼすか？
• RQ3 CLは異なるベースアーキテクチャとデータ規模（MSCOCO, InstaPIC-1.1M）に対してロバストか？

主な発見

方法	B-1	B-2	B-3	B-4	METEOR	ROUGE_L	CIDEr
AdaptiveAttention + CL (Ours)	0.742	0.577	0.436	0.326	0.260	0.544	1.010

• 自己リトリーバルの研究は、独自性の高さがより良いキャプション指標と相関することを示している。
• MSCOCO では、AdaptiveAttention + CL がベースの AdaptiveAttention より BLEU、METEOR、ROUGE-L、CIDEr の各指標で大きな改善を示し、強力な単一モデル結果を達成している。
• InstaPIC-1.1M では、AdaptiveAttention + CL がベースより CIDEr の大幅な向上を示し、記述品質の改善を示唆している。
• CLは複数のベースモデルに互換性があり、データセット間で一般化する。アブレーションの結果、完全な CL（正例および負例の制約）の方が、いずれか一方の制約のみ、または IL/GAN のベースよりも優れている。
• 参照を定期的に置換すると、強いターゲットが得られた後は利得が小さくなることがあり、多くの場合、単一の強い参照で十分であることを示唆している。