[論文レビュー] Clue: Cross-modal Coherence Modeling for Caption Generation

Malihe Alikhani, Piyush Sharma+3 more|arXiv (Cornell University)|May 2, 2020

Multimodal Machine Learning Applications参考文献 39被引用数 6

ひとこと要約

本稿では、画像キャプション生成のためのクロスモodalな一貫性モデリングフレームワークであるClueを紹介する。このフレームワークは、視覚的提示、物語的展開、主観的表現といったディス course理論に由来する一貫性関係（例：Visible, Story, Subjective）を用いて、キャプションの質と一貫性を向上させる。10,000組の画像-キャプションペアにこれらの関係をアノテートし、一貫性に配慮したキャプション生成モデルを訓練した結果、一貫性に配慮しないモデルと比較して、人間による評価において顕著に高い品質と好みが得られた。

ABSTRACT

We use coherence relations inspired by computational models of discourse to study the information needs and goals of image captioning. Using an annotation protocol specifically devised for capturing image--caption coherence relations, we annotate 10,000 instances from publicly-available image--caption pairs. We introduce a new task for learning inferences in imagery and text, coherence relation prediction, and show that these coherence annotations can be exploited to learn relation classifiers as an intermediary step, and also train coherence-aware, controllable image captioning models. The results show a dramatic improvement in the consistency and quality of the generated captions with respect to information needs specified via coherence relations.

研究の動機と目的

• 大規模な画像キャプション生成におけるコンテンツおよび文脈の誤認知（ホールーシュレーション）を解消するため、クロスモダリティ一貫性関係をモデリングすること。
• マルチモーダルコミュニケーションにおける画像-テキスト一貫性関係を捉えるための体系的なアノテーションプロトコルの開発。
• 特定の情報ニーズに一致するように出力を制御する一貫性に配慮したキャプション生成モデルの訓練。
• 今後のクロスモダリティ一貫性および制御生成分野の研究を促進するため、Clueデータセットの公開。
• 一貫性に配慮したキャプション生成が、標準モデルと比較して人間による評価における品質と好みを向上させることの実証。

提案手法

• Conceptual CaptionsおよびOpen Imagesから抽出した10,000組の画像-キャプションペアを、Visible, Meta, Subjective, Story, Identification, Otherの6つの一貫性関係について、独自のプロトコルでアノテート。
• ディス course理論に由来するクロスモダリティ一貫性関係（例：Visible（視覚的コンテンツの根拠づけ）、Story（画像コンテンツを超えた物語的展開））を定義・形式化。
• 視覚およびテキストエンコーダーからのマルチモーダル特徴を用いて、画像とキャプション間の一致関係を予測する分類器を訓練。
• 指定された一貫性関係（例：'Story'のキャプションを生成）に基づいて出力を制御する条件付きメカニズムを備えたキャプション生成モデルを微調整。
• 人間評価と自動指標を用いて、一貫性に配慮したモデルと一貫性に配慮しないモデルの品質、関連性、好みの比較。
• Clueデータセットおよびコードを公開し、クロスモダリティ一貫性モデリング分野における再現可能性と今後の研究を支援。

実験結果

リサーチクエスチョン

• RQ1 ディス courseに基づく一貫性関係を、画像-テキストペアに体系的かつ一貫して適用可能か。
• RQ2 異なる一貫性関係（例：Visible, Story, Subjective）が、生成されたキャプションの内容および構造にどのように影響を与えるか。
• RQ3 画像とキャプション間の一致関係を、高い正確性で予測できるモデルを訓練できるか。
• RQ4 特定の一貫性関係に基づいてキャプション生成を制御することで、人間による評価におけるキャプション品質と一貫性が向上するか。
• RQ5 人間の好みおよび品質評価において、一貫性に配慮したモデルが標準モデルをどの程度上回るか。

主な発見

• 一貫性に配慮したキャプション生成モデルは、人間による比較において68.2％の好みを得た。これは一貫性に配慮しないモデル（31.8％の好み）を顕著に上回った。
• 人間評価では、一貫性に配慮したモデルのキャプション品質が5段階中3.44点であったのに対し、一貫性に配慮しないモデルは2.83点であり、有意差（p < 0.05）が確認された。
• 関連性については、それぞれ4.43点と4.40点と同程度の評価が得られ、一貫性に配慮したモデルは関連性を維持しつつ、品質を向上させた。
• 人間評価の向上にもかかわらず、CIDErスコアは向上しなかった（0.958 対 0.964）。これは、基準キャプションがトレーニングデータと同じ一貫性分布を反映しているためである。
• Clueデータセットは、従来のデータセットがハイパニム化のため捉えきれなかった追加の一貫性関係、すなわちIdentification（人物やブランドの名前指定）を明らかにした。
• 本研究は、一貫性モデリングが、特に複雑な内容や物語的要素を含む記述において、より一貫性があり、文脈的に適切で、人間が好むキャプション生成を可能にすることを示した。