[論文レビュー] SG2Caps: Revisiting Scene Graphs for Image Captioning.

Subarna Tripathi, Kien Nguyen+3 more|arXiv (Cornell University)|Feb 9, 2021

Multimodal Machine Learning Applications参考文献 5被引用数 5

ひとこと要約

SG2Capsは、畳み込みニューラルネットワーク（CNN）特徴量やグラフ畳み込みを必要とせず、シーングラフラベルのみを用いて最先端の性能を達成する新しい画像キャプションフレームワークを提案する。空間的情報および人間-対象-インタラクション（HOI）情報を用いて、画像とキャプションのシーングラフを整合させることで、パラメータ数を49%削減し、CIDErスコア110を達成し、先行するシーングラフのみのモデルを上回る性能を発揮する。

ABSTRACT

The mainstream image captioning models rely on Convolutional Neural Network (CNN) image features with an additional attention to salient regions and objects to generate captions via recurrent models. Recently, scene graph representations of images have been used to augment captioning models so as to leverage their structural semantics, such as object entities, relationships and attributes. Several studies have noted that naive use of scene graphs from a black-box scene graph generator harms image caption-ing performance, and scene graph-based captioning mod-els have to incur the overhead of explicit use of image features to generate decent captions. Addressing these challenges, we propose a framework, SG2Caps, that utilizes only the scene graph labels for competitive image caption-ing performance. The basic idea is to close the semantic gap between two scene graphs - one derived from the input image and the other one from its caption. In order to achieve this, we leverage the spatial location of objects and the Human-Object-Interaction (HOI) labels as an additional HOI graph. Our framework outperforms existing scene graph-only captioning models by a large margin (CIDEr score of 110 vs 71) indicating scene graphs as a promising representation for image captioning. Direct utilization of the scene graph labels avoids expensive graph convolutions over high-dimensional CNN features resulting in 49%fewer trainable parameters.

研究の動機と目的

• 画像キャプションにおけるブラックボックスなシーングラフ生成器の使用による性能低下を是正すること。
• シーングラフベースのキャプション生成において、高コストなCNN特徴量やグラフ畳み込みに依存しないようにすること。
• 空間的情報およびHOI情報を用いて、画像由来のシーングラフとキャプション由来のシーングラフの間の意味的ギャップを埋めること。
• CNN特徴量を一切使用せず、シーングラフラベルのみを用いて競争力のあるキャプション生成性能を達成すること。

提案手法

• 入力画像からシーングラフを構築し、正解キャプションからも別のシーングラフを構築することで、両者の意味的構造を一致させる。
• 空間的オブジェクト位置と人間-対象-インタラクション（HOI）ラベルを組み込んで、シーングラフ表現を豊かにする。
• グラフからシーケンスへのモデルを訓練し、CNN特徴量を経由せずにキャプションを直接生成する。
• 画像とキャプションのシーングラフ間の分布的ギャップを最小化するため、二重グラフ整合化機構を採用する。
• グラフ畳み込みネットワークを回避し、シーングラフ内の関係性を直接モデル化することで、パラメータ数を削減する。
• アーキテクチャはエンドツーエンドで学習可能であり、視覚的特徴量ではなく構造的関係に注目したアテンション機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 CNN特徴量を一切使用せず、シーングラフラベルのみを用いても、画像キャプションの性能を顕著に向上させられるか？
• RQ2 空間的情報およびHOI情報の統合は、画像とキャプションのシーングラフの整合性を高めるのにどの程度有効か？
• RQ3 構造的整合化によって、画像とキャプションのシーングラフ間の意味的ギャップをどの程度縮小できるか？
• RQ4 グラフ畳み込みネットワークとCNN特徴量を排除することで、パラメータ数を大幅に削減しつつ性能に損なわれないか？
• RQ5 CNN特徴量と構造的特徴量を併用する既存のモデルに比べて、シーングラフのみのモデルが優れた性能を発揮できるか？

主な発見

• SG2CapsはCIDErスコア110を達成し、先行するシーングラフのみのモデル（スコア71）を著しく上回る性能を発揮した。
• CNN特徴量とグラフ畳み込みを用いるモデルと比較して、学習可能なパラメータ数を49%削減した。
• 追加の視覚的特徴量を用いずにシーングラフラベルを直接使用することで、優れた性能が得られた。これは、シーングラフのみで高品質なキャプション生成が可能であることを示している。
• 空間的情報およびHOI情報の統合により、画像とキャプションのシーングラフ間の整合性が向上し、意味的整合性が向上した。
• シーングラフを効果的に活用すれば、明示的な画像特徴量はキャプション生成に不要であることが示された。
• 本フレームワークは、既存のシーングラフベースのアプローチを上回る性能を発揮し、シーングラフが画像キャプションのための有望な表現であることを実証した。