[論文レビュー] Auto-Encoding Scene Graphs for Image Captioning

Xu Yang, Kaihua Tang+2 more|arXiv (Cornell University)|Dec 6, 2018

Multimodal Machine Learning Applications参考文献 46被引用数 26

ひとこと要約

本論文は、自然言語におけるシーングラフ自己符号化から共有辞書を学習することにより、画像キャプション生成に言語のインダクティブバイアスを組み込む新しいフレームワーク、Scene Graph Auto-Encoder (SGAE) を提案する。シーングラフを記号的で構造的な中間表現として用い、視覚と言語のドメイン間で学習された辞書を共有することで、推論能力と一般化性能を向上させ、単一モデルでMS-COCO Karpathyスプリットにおいて127.8のCIDEr-Dという新たなSOTAを達成した。

ABSTRACT

We propose Scene Graph Auto-Encoder (SGAE) that incorporates the language inductive bias into the encoder-decoder image captioning framework for more human-like captions. Intuitively, we humans use the inductive bias to compose collocations and contextual inference in discourse. For example, when we see the relation `person on bike', it is natural to replace `on' with `ride' and infer `person riding bike on a road' even the `road' is not evident. Therefore, exploiting such bias as a language prior is expected to help the conventional encoder-decoder models less likely overfit to the dataset bias and focus on reasoning. Specifically, we use the scene graph --- a directed graph ($\mathcal{G}$) where an object node is connected by adjective nodes and relationship nodes --- to represent the complex structural layout of both image ($\mathcal{I}$) and sentence ($\mathcal{S}$). In the textual domain, we use SGAE to learn a dictionary ($\mathcal{D}$) that helps to reconstruct sentences in the $\mathcal{S} ightarrow \mathcal{G} ightarrow \mathcal{D} ightarrow \mathcal{S}$ pipeline, where $\mathcal{D}$ encodes the desired language prior; in the vision-language domain, we use the shared $\mathcal{D}$ to guide the encoder-decoder in the $\mathcal{I} ightarrow \mathcal{G} ightarrow \mathcal{D} ightarrow \mathcal{S}$ pipeline. Thanks to the scene graph representation and shared dictionary, the inductive bias is transferred across domains in principle. We validate the effectiveness of SGAE on the challenging MS-COCO image captioning benchmark, e.g., our SGAE-based single-model achieves a new state-of-the-art $127.8$ CIDEr-D on the Karpathy split, and a competitive $125.5$ CIDEr-D (c40) on the official server even compared to other ensemble models.

研究の動機と目的

• エンドツーエンドのエンコーダ-デコーダモデルが記述的で人間らしいキャプションを生成する能力に限界があるのを補うために、言語のインダクティブバイアスを組み込むこと。
• 画像と文の両方を記号的で構造的な表現としてのシーングラフを用いることで、視覚的認識と言語構成のギャップを埋めること。
• テキストのみのシーングラフ再構築から学習された言語の事前知識をエンコードする共有で学習可能な辞書を学習し、視覚言語タスクに転送可能にする。
• 言語データからの文脈的推論および共起パターンを活用することで、推論能力を向上させ、データセットバイアスへの過剰適合を低減すること。

提案手法

• 本手法は、オブジェクト、属性、関係のノードを備えた有向グラフとして、画像と文の両方をシーングラフ（G）で表現する。
• 自己再構成パイプライン S → G → D → S において、シーングラフ自己符号化器（SGAE）を訓練する。ここでDは、ノード特徴量を再符号化して言語のインダクティブバイアスを捉えることができる学習可能な辞書である。
• 辞書Dは視覚言語パイプライン全体で共有される：I → G → D → S であり、言語の事前知識が画像キャプションに転送可能になる。
• 視覚的特徴が不完全な検出から欠落している場合を補うために、マルチモodalなグラフ畳み込みネットワーク（GCN）を用いて、画像からキャプションへのパイプラインでシーングラフ特徴量を精緻化する。
• 事前学習済みの視覚エンコーダとRNNベースの言語デコーダを統合し、シーケンス最適化のための強化学習戦略で訓練する。
• 共有辞書Dは作業メモリとして機能し、記号的推論と視覚的認識を分離し、特徴表現におけるドメインギャップを低減する。

実験結果

リサーチクエスチョン

• RQ1 共起や文脈的推論といった言語のインダクティブバイアスは、効果的に抽出され、画像キャプションの向上に転送可能か？
• RQ2 テキストのみのシーングラフ自己符号化から学習された共有辞書は、視覚言語タスクにおけるゼロショットまたはフェイントショット一般化を向上させることができるか？
• RQ3 記号的シーングラフ表現を組み込むことで、エンドツーエンドモデルと比較してより記述的かつ文脈的に整合性のあるキャプションが得られるか？
• RQ4 視覚的シーングラフ検出器の品質が、SGAEを用いた最終的なキャプションモデルの性能にどのように影響するか？

主な発見

• SGAEベースの単一モデルは、MS-COCO Karpathyスプリットにおいて127.8のCIDEr-Dという新たなSOTAスコアを達成し、すべての先行手法を上回った。
• バッチサイズ100、トレーニングエポック250という少ない設定ですら、バッチサイズ1,024、250エポックを用いたGCN-LSTMを上回った。
• ファージョン統合型のSGAE fuseは、公式MS-COCOテストサーバーで125.5のCIDEr-Dを達成し、アンサンブルモデルを上回った。
• 人的評価では、辞書Dを用いて生成されたキャプションは、Dを用いない場合に比べて著しく記述的であることが確認され、学習されたインダクティブバイアスの有効性が裏付けられた。
• 文の再構築のアブレーション実験では、Dを用いることでモデルの正則化が図られ、一般化性能が向上したが、わずかに再構築精度が低下した。
• 結果から、視覚的シーングラフ検出器の品質が重要なボトルネックであることが示された。劣悪なGの品質は、強力な言語事前知識があっても性能向上を制限する。