[論文レビュー] Comprehensive Image Captioning via Scene Graph Decomposition

Yiwu Zhong, Liwei Wang+3 more|arXiv (Cornell University)|Jul 23, 2020

Multimodal Machine Learning Applications参考文献 65被引用数 14

ひとこと要約

本稿では、画像のシーングラフを部分グラフに分解することで、意味的コンポonentを表す新しい画像キャプション生成モデルSub-GCを提案する。グラフニューラルネットワークとアテンションベースの生成を用いて個々の部分グラフを選択・デコードすることで、キャプションの多様性、根拠付け、制御性において最先端の性能を達成するとともに、高いキャプション品質を維持する。

ABSTRACT

We address the challenging problem of image captioning by revisiting the representation of image scene graph. At the core of our method lies the decomposition of a scene graph into a set of sub-graphs, with each sub-graph capturing a semantic component of the input image. We design a deep model to select important sub-graphs, and to decode each selected sub-graph into a single target sentence. By using sub-graphs, our model is able to attend to different components of the image. Our method thus accounts for accurate, diverse, grounded and controllable captioning at the same time. We present extensive experiments to demonstrate the benefits of our comprehensive captioning model. Our method establishes new state-of-the-art results in caption diversity, grounding, and controllability, and compares favourably to latest methods in caption quality. Our project website can be found at http://pages.cs.wisc.edu/~yiwuzhong/Sub-GC.html.

研究の動機と目的

• 一般的で根拠のない、または制御不能なキャプションを生成する既存の画像キャプションモデルの限界を解消すること。
• キャプション品質、多様性、根拠付け、制御性の間のトレードオフを統合的なフレームワークによって克服すること。
• 部分グラフに基づくアテンション機構を用いて、生成された文の語彙と画像領域との正確な対応を可能にすること。
• 同一アーキテクチャ内で複数の部分グラフを用いた多様なキャプション生成と、部分グラフの選択による制御可能なキャプション生成を両立させること。
• デコード中に関連する部分グラフのノードにのみアテンションを制限することで、テキストと視覚的領域との整合性を高め、根拠付け性能を向上させること。

提案手法

• 入力画像から、ノードがオブジェクト（視覚的・テキスト的特徴を有する）でエッジが関係性を表す完全なシーングラフを抽出する。
• 完全なシーングラフから重複する部分グラフの集合を生成し、それぞれが画像の異なる意味的コンポonentを捉えるようにする。
• 人間がアノテートしたキャプションとの整合性に基づいて、関連性の高い部分グラフをランク付け・選択するためのグラフニューラルネットワーク（GNN）を訓練する。
• 選択された各部分グラフを、その部分グラフ内のノードにのみ注目するアテンション機構を用いて自然言語文にデコードする。
• 部分グラフ内のノードに対するクロスアテンションを備えたシーケンス・ツー・シーケンスデコーダーを用いてトークンを生成し、トークンと領域との対応付けを可能にする。
• ユーザーがどの部分グラフをデコードするかを指定できるようにすることで、制御可能なキャプション生成を実現し、画像の特定のコンポonentを的確に記述可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全グラフモデリングと比較して、シーングラフを部分グラフに分解することで、より多様で意味的に異なるキャプションを生成できるか？
• RQ2 部分グラフに基づくアテンションは、トークンと特定の画像領域との対応付けを強化することで、生成キャプションの根拠付けを向上させられるか？
• RQ3 部分グラフの選択メカニズムにより、ユーザーが記述したい画像コンポonentを指定できる制御可能なキャプション生成が可能になるか？
• RQ4 完全グラフデコードと比較して、部分グラフベースのデコードはキャプション品質、多様性、根拠付けの観点で優れているか？
• RQ5 画像-文ペアのみで弱教師ありに学習されたモデルが、明示的な領域-文の監督を必要とせずに、根拠付けと制御性の両面で優れた性能を発揮できるか？

主な発見

• Sub-GCは、多様性を重視して設計された先行手法と比較して顕著な向上を示し、キャプション多様性において最先端の性能を達成した。
• Flickr30K Entitiesデータセットにおいて、Sub-GCはF1_allが47.1、F1_locが43.1を達成し、先行の弱教師あり手法と比較してそれぞれ20%および22%の相対的向上を示した。
• Sub-GCは高いキャプション品質を維持しており、B4で12.5、CIDErで112.3を記録し、最先端の多様なキャプション生成モデルを上回り、最良の品質最適化モデルと同等の性能を示した。
• モデルは強力な根拠付け能力を示しており、完全グラフベースライン（Full-GC）と比較してF1_locで3.5ポイントの向上を示し、生成トークンと画像領域との整合性が向上していることを示した。
• 制御可能なキャプション生成において、Sub-GCの教師ありバージョンはNBTおよびSCTを上回り、B4で+1.3、CIDErで+6.4、IoUで+1.4の向上を示し、出力内容に対する優れた制御性を示した。
• 弱教師ありのSub-GCモデルですら、教師ありベースラインと同等の制御性を達成しており、部分グラフ分解が完全な監督を必要とせずにモデルのインダクティブバイアスを強化できることを示唆している。