[論文レビュー] Informative Image Captioning with External Sources of Information

Sanqiang Zhao, Piyush Sharma+2 more|arXiv (Cornell University)|Jun 20, 2019

Multimodal Machine Learning Applications参考文献 28被引用数 5

ひとこと要約

本論文では、上流モデルからの微細なエンティティラベルと画像特徴を統合することで、流暢で情報豊富なキャプションを生成する、マルチモーダルでマルチエンコーダーなTransformerモデルを提案する。カバレッジ制御機構を導入することで、推論時にエンティティの言及頻度を向上させることができ、文語的流暢さを損なわずに人間評価による情報豊かさで24.33%の向上を達成した。

ABSTRACT

An image caption should fluently present the essential information in a given image, including informative, fine-grained entity mentions and the manner in which these entities interact. However, current captioning models are usually trained to generate captions that only contain common object names, thus falling short on an important "informativeness" dimension. We present a mechanism for integrating image information together with fine-grained labels (assumed to be generated by some upstream models) into a caption that describes the image in a fluent and informative manner. We introduce a multimodal, multi-encoder model based on Transformer that ingests both image features and multiple sources of entity labels. We demonstrate that we can learn to control the appearance of these entity labels in the output, resulting in captions that are both fluent and informative.

研究の動機と目的

• 既存の画像キャプション生成モデルが、特定の人物、映画、イベントなどの微細なエンティティの言及を生成する点で制限を抱えていることに対処すること。
• 画像ピクセルに依存するのではなく、上流モデルから事前計算された微細なエンティティラベルを統合することで、キャプションの情報豊かさを向上させること。
• 推論時に生成キャプション内のエンティティ言及のカバレッジを制御可能なトレーニングメカニズムを開発すること。
• 画像特徴と外部エンティティソースを組み合わせることで、より正確で情報豊かなキャプションが得られることを、人間評価によって検証すること。
• 微細なラベルにアクセスできない状態で訓練されたモデルは、大規模なウェブデータを使用しても、正しさと情報豊かさの両面で劣ることが示されること。

提案手法

• モデルは、画像特徴と複数のエンティティラベルソース（例：オブジェクト検出器、ウェブエンティティ認識モデル）のための別個のエンコーダーを持つマルチエンコーダー・アーキテクチャを採用する。
• マルチゲートドライバーデコーダーは、画像表現とエンティティ埋め込みの両方に注目し、微細なラベルをキャプション生成プロセスに制御的に統合可能にする。
• カバレッジ制御機構は、学習可能なカバレッジ要因に基づいて、デコード中に特定のエンティティの言及確率を高める学習を行う。
• 最良の設定ではカバレッジ要因を1.5に設定し、これによりオブジェクトラベルとウェブエンティティの両方が出力に顕著に増加した。
• 標準的なキャプション生成指標（例：CIDEr）とサイド・by・サイド比較の設定での人間評価を用いて、流暢さと情報豊かさを最適化するトレーニング目的関数を採用する。
• エンティティ認識のためのエンドツーエンド統合学習を避けるために、事前計算されたエンティティラベル（例：'Eric Clapton' や 'Season of the Witch'）を入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 外部ソースからの事前計算された微細なエンティティラベルを統合することで、画像キャプションの情報豊かさが顕著に向上するか？
• RQ2 カバレッジ制御機構により、流暢さを損なわずに生成キャプション内のエンティティ言及頻度を制御的かつ学習可能に向上させられるか？
• RQ3 微細なラベルにアクセスできない状態で訓練されたキャプションモデルと、それらを活用するモデルとを比較した場合、正しさと情報豊かさの点でどの程度性能が異なるか？
• RQ4 人間の評価において、キャプション品質の評価と自動カバレッジスコアの相関度はどの程度高いか？
• RQ5 マルチエンコーダーでマルチゲートなTransformerアーキテクチャは、多様なエンティティ情報源を効果的に統合しながら、流暢な出力を維持できるか？

主な発見

• 提案されたモデルは、外部エンティティラベルを使用しなかったSharmaら（2018）のベースラインモデルと比較して、人間評価による情報豊かさで24.33%の向上を達成した。
• 正しさに関しては7.79%の向上を示し、微細なエンティティを統合することで事実の正確性が向上することが実証された。
• 流暢さは維持され、人間による流暢さ評価で-0.87%の変化に留まり、言語的品質の低下は見られなかった。
• カバレッジ要因1.5を用いたカバレッジ制御機構により、生成キャプション内でのオブジェクトラベルとウェブエンティティの出現頻度が顕著に増加した。
• 人間評価により、微細なラベルにアクセスできない状態で訓練されたモデルは、情報豊かさが7.91%、正しさが7.33%劣ることが確認され、外部エンティティソースの必要性が裏付けられた。
• 訓練時に表面的な表記（例：'person' と 'Eric Clapton'）ではなくエンティティタイプを使用することで、一般化性能が向上し、より高い性能が得られることを示した。