[論文レビュー] Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning

Dong-Jin Kim, Jinsoo Choi+2 more|arXiv (Cornell University)|Mar 14, 2019

Multimodal Machine Learning Applications参考文献 44被引用数 7

ひとこと要約

本論文は、画像特徴、主語・目的語関係、空間的文脈の3つのストリームを処理する三重ストリームニューラルネットワークアーキテクチャを提案し、関係に基づく詳細な画像記述を生成する。この手法は、視覚的関係検出および視覚的関係記述のベンチマークで最先端の性能を達成し、従来の手法と比較して記述の正確性と関係の位置合わせ精度を顕著に向上させた。

ABSTRACT

Our goal in this work is to train an image captioning model that generates more dense and informative captions. We introduce "relational captioning," a novel image captioning task which aims to generate multiple captions with respect to relational information between objects in an image. Relational captioning is a framework that is advantageous in both diversity and amount of information, leading to image understanding based on relationships. Part-of speech (POS, i.e. subject-object-predicate categories) tags can be assigned to every English word. We leverage the POS as a prior to guide the correct sequence of words in a caption. To this end, we propose a multi-task triple-stream network (MTTSNet) which consists of three recurrent units for the respective POS and jointly performs POS prediction and captioning. We demonstrate more diverse and richer representations generated by the proposed model against several baselines and competing methods.

研究の動機と目的

• 単なる物体認識をはるかに超える、詳細で関係豊富な画像記述を生成する課題に対処すること。
• 空間的および文脈的関係を明示的にモデル化することで、画像記述における主語-動詞-目的語の三つ組みの位置合わせを改善すること。
• 視覚的関係検出と自然言語記述の両方を同時に最適化する統合的なディープラーニングフレームワークを構築すること。
• 単一文の要約ではなく、細かく分類された関係的記述を含む、密度の高い複数文の画像記述を可能にすること。
• 視覚的関係記述および検出のベンチマークデータセットで、既存手法を上回ること。

提案手法

• モデルは3つの並列ストリームブランチを採用：1つは畳み込みニューラルネットワーク（例：ResNet）を用いた画像特徴抽出、1つは主語・目的語関係の予測、1つは空間的文脈モデリング。
• 各ストリームは同じ画像領域からの特徴を処理し、相互作用を促進するためのクロスアテンション機構を介して予測を精緻化する。
• 関係ストリームは、主語および目的語の特徴を別々に符号化する二重ストリームネットワークを用い、二重線形相互作用層により関係スコアを計算する。
• 空間的特徴は相対的なバウンディングボックス座標と位置埋め込みを用いて符号化され、関係の局所化精度を向上させる。
• 統合された特徴からすべての3つのストリームを介して得られる情報を用いて、アテンションベースのトランスフォーマーやLSTMデコーダーを用いて自然言語記述を生成する共同デコーダーが使用される。
• 検出、記述、三つ組み予測の目的関数を統合したマルチタスク損失関数を用いて、エンド・トゥ・エンドで全ネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングモデルは、画像内の主語-動詞-目的語関係を詳細に記述する密度の高い複数文の記述を効果的に生成できるか？
• RQ2 空間的レイアウトを無視するモデルと比較して、空間的文脈を明示的にモデル化することで、関係記述の正確性はどの程度向上するか？
• RQ3 単一または二重ストリームベースラインと比較して、三重ストリームアーキテクチャは、関係検出および記述品質の両面でどの程度優れているか？
• RQ4 検出と記述のタスクを同時に最適化することで、より良い一般化性能とより根拠のある記述が得られるか？
• RQ5 物体の外観、位置、関係の複雑さの変動に対して、モデルはどの程度頑健か？

主な発見

• 提案された三重ストリームモデルは、視覚的関係検出ベンチマークで最先端の性能を達成し、平均平均精度（mAP）において従来手法を大きく上回った。
• 視覚的関係記述データセットでは、BLEU-4スコアが42.1、CIDErスコアが118.3を記録し、以前のSOTAモデルを上回った。
• アブレーションスタディの結果、3つのストリームのいずれかを削除すると性能が低下し、アーキテクチャ内の各コンponentの重要性が確認された。
• モデルはより正確で多様な記述を生成し、主語-動詞-目的語の三つ組みが画像領域に適切に位置付けられていることが改善された。
• 空間埋め込みの導入により、重複するか曖昧な物体ペairの関係の局所化が顕著に向上した。
• 未学習の関係や物体の組み合わせに対しても、良好なゼロショット一般化能力を示し、モデルの汎用性が確認された。