[論文レビュー] Improving Image Captioning with Better Use of Captions

Zhan Shi, Zhou Xu+2 more|arXiv (Cornell University)|Jun 21, 2020

Multimodal Machine Learning Applications参考文献 37被引用数 27

ひとこと要約

本論文は、弱い教師付きのマルチインスタンス学習を用いて、画像の意味的特徴とテキストキャプションの整合性を高めるために、キャプション誘導型の視覚的関係グラフ（CGVRG）を構築する新しい画像キャプションフレームワークを提案する。文脈的なノード特徴を強化し、語とオブジェクト／動詞タグの同時予測を実現するマルチタスク学習を採用することで、MSCOCOで最先端の性能を達成し、CIDEr-DやSPICEを含む複数の指標で先行手法を上回った。

ABSTRACT

Image captioning is a multimodal problem that has drawn extensive attention in both the natural language processing and computer vision community. In this paper, we present a novel image captioning architecture to better explore semantics available in captions and leverage that to enhance both image representation and caption generation. Our models first construct caption-guided visual relationship graphs that introduce beneficial inductive bias using weakly supervised multi-instance learning. The representation is then enhanced with neighbouring and contextual nodes with their textual and visual features. During generation, the model further incorporates visual relationships using multi-task learning for jointly predicting word and object/predicate tag sequences. We perform extensive experiments on the MSCOCO dataset, showing that the proposed framework significantly outperforms the baselines, resulting in the state-of-the-art performance under a wide range of evaluation metrics.

研究の動機と目的

• キャプションからの意味的ヒントを活用して画像表現とキャプション生成を改善するというギャップを埋める。
• オブジェクト領域への動詞の対応が曖昧な状況において、弱い教師付きのマルチインスタンス学習を用いて、動詞とオブジェクトのペアを特定する。
• 視覚的およびテキスト的特徴を併用した隣接および文脈的ノードを統合することで、画像表現を向上させる。
• マルチタスク学習によるオブジェクトおよび動詞の制約を明示的にモデル化することで、キャプション生成プロセスを正則化する。
• MSCOCO画像キャプションベンチマークで最先端の性能を達成する。

提案手法

• 正解キャプションから動詞-オブジェクトペアを検出するために、弱い教師付きのマルチインスタンス学習を用いてキャプション誘導型の視覚的関係グラフ（CGVRG）を構築する。
• グラフ畳み込みネットワーク（GCNs）を用いて、隣接および文脈的ノードからの特徴を集約することで、ノード表現を強化する。
• ノードのテキスト的および視覚的特徴を統合し、統一された表現を構築することで、意味理解を向上させる。
• キャプション生成中に語列とタグ列（オブジェクト、動詞、なし）を同時に予測するためのマルチタスク学習を実装する。
• タグ予測を用いてデコーダーが関連する視覚的関係に注目するように誘導することで、生成キャプションに構造的制約を課す。
• より頑健な最適化を実現するため、交差エントロピーと強化学習（RLO）の両方の戦略を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 キャプション誘導型の視覚的関係グラフは、画像とキャプションの間の意味的整合性を高めることで、画像表現を改善できるか？
• RQ2 正解のオブジェクト領域が曖昧な状況において、弱い教師付きのマルチインスタンス学習は、関連する視覚的関係を検出するのにどのように寄与するか？
• RQ3 語列とタグ列の同時予測を実現するマルチタスク学習は、キャプションの品質および構造的整合性をどの程度向上させるか？
• RQ4 グラフ畳み込みを用いて隣接および文脈的ノード特徴を統合することで、キャプション生成の性能が向上するか？
• RQ5 提案されたフレームワークは、MSCOCOデータセットで複数の評価指標において最先端の結果を達成できるか？

主な発見

• 提案モデルは、交差エントロピー最適化下で、MSCOCOデータセットでCIDEr-Dスコア118.1、SPICEスコア21.2を達成し、最先端の性能を実現した。
• アブレーションスタディの結果、グラフ畳み込みとマルチタスク学習の両方がキャプション品質を顕著に向上させ、完全なモデルがアブレーションバージョンを上回った。
• 人的評価では、Up-Downと比較して、本モデルのキャプションは忠実性（44%の画像）、情報量（60%）、自然さ（18%）において顕著に優れていた。
• モデルは、予測された語に対して適切なタグ確率を学習し、特に動詞タグ（例：'flying over'）とオブジェクトタグ（例：'bird'）に対して高い信頼度を示した。
• 本モデルは、トレーニングセットに存在しない新しい視覚的関係の組み合わせ（例：(table, filled with, food)）を生成でき、一般化能力の向上を示した。
• CIDEr-DおよびSPICEの両指標において、Up-Down、GCN-LSTM、SGAEといった強力なベースラインを常に上回り、一貫した性能向上を示した。