[論文レビュー] A Neural Compositional Paradigm for Image Captioning

Bo Dai, Sanja Fidler+1 more|arXiv (Cornell University)|Oct 23, 2018

Multimodal Machine Learning Applications参考文献 32被引用数 24

ひとこと要約

この論文は、意味的コンテンツ抽出と文法的キャプション生成を分離するニューラル構成的パラダイムを提案する。自己回帰的生成ではなく、まず画像から名詞句を抽出し、その後、学習可能なモジュールを用いて再帰的に組み合わせることで、より多様で意味的に正確かつ一般化性の高いキャプションを生成し、下流のメトリクスで性能が向上する。

ABSTRACT

Mainstream captioning models often follow a sequential structure to generate captions, leading to issues such as introduction of irrelevant semantics, lack of diversity in the generated captions, and inadequate generalization performance. In this paper, we present an alternative paradigm for image captioning, which factorizes the captioning procedure into two stages: (1) extracting an explicit semantic representation from the given image; and (2) constructing the caption based on a recursive compositional procedure in a bottom-up manner. Compared to conventional ones, our paradigm better preserves the semantic content through an explicit factorization of semantics and syntax. By using the compositional generation procedure, caption construction follows a recursive structure, which naturally fits the properties of human language. Moreover, the proposed compositional procedure requires less data to train, generalizes better, and yields more diverse captions.

研究の動機と目的

• n-gram統計に依存する自己回帰的キャプション生成モデルの限界、特に意味的に誤りまたは繰り返しの多いキャプションを生成する問題を解決すること。
• 画像キャプション生成において意味と構文を明示的に因子分解することで、キャプションの多様性と意味的正確性を向上させること。
• 階層的で構成的な生成プロセスを活用することで、少ない訓練データでもより良い一般化性能を達成すること。
• 自然言語の階層的構造を反映する、より解釈可能で制御可能なキャプション生成フレームワークを構築すること。

提案手法

• まず、専用モジュールを用いて画像の明示的な意味的表現（名詞句の集合）を抽出する。
• 次に、学習可能な接続語句モジュールを用いて、下位の語句を再帰的に組み合わせる下位から上位への構成的プロセスでキャプションを構築する。
• 別個の評価モジュールが語句が完成したかどうかを決定し、制御可能で構造的な構成を可能にする。
• 接続モジュールと完成度評価モジュールという2つのパrametricモジュールを用いて、エンド・トゥ・エンドで学習可能な構成プロセスを実現する。
• 逐次的な単語単位の生成を回避し、言語の構造を反映するように階層的に語句を構築する。
• 推論時には、スコアに基づく選択によるビームサーチを用い、1枚の画像に対して複数の多様なキャプションを生成する。

実験結果

リサーチクエスチョン

• RQ1 意味と構文を分離することで、構成的キャプションフレームワークは意味的正確性を向上させることができるか？
• RQ2 自己回帰的モデルと比較して、再帰的構成的生成はキャプションの多様性と一般化性能において優れているか？
• RQ3 提案手法は、訓練データにおける頻出n-gramへの依存度をどれほど低減できるか、かつ性能は維持または向上させるか？
• RQ4 名詞句の明示的因子分解は、より解釈可能で制御可能なキャプション生成をもたらすか？
• RQ5 標準の自己回帰的モデルと比較して、低データ環境下でのモデルの性能はいかがなっているか？

主な発見

• CompCapは83.86%の独自キャプション比を達成し、ベースラインモデルを著しく上回り、生成キャプションの新規性が顕著に高いことが示された。
• データセットレベルで9.85の多様性スコアを達成し、全手法の中で最高水準であり、強力なキャプション多様性を示した。
• 訓練データの10%のみで、CompCapは強い性能を維持した。自己回帰的モデルと比較して、優れた一般化性能を示した。
• ベースラインと比較して、SPICEスコアは0.058、CIDErスコアは0.043向上し、意味的整合性と文法的流れの適合性が向上した。
• アブレーションスタディにより、構成的構造が意味的正確性を損なわず、多様性を向上させることを確認した。
• 失敗事例の主な原因は、名詞句抽出や構成の誤りに起因しており、構成的メカニズム自体の本質的欠陥とは無関係であった。