[論文レビュー] Scene Graph Generation from Objects, Phrases and Region Captions

Yikang Li, Wanli Ouyang+3 more|arXiv (Cornell University)|Jul 31, 2017

Multimodal Machine Learning Applications参考文献 44被引用数 29

ひとこと要約

本稿では、空間的・意味的グラフを介して3つの意味的レベル間で領域を動的に整合させ、メッセージ伝達による特徴の精練を実行することで、オブジェクト検出、シーングラフ生成、領域キャプションの3つのタスクを一括で行うエンドツーエンドのディーブラーニングフレームワーク、Multi-level Scene Description Network (MSDN) を提案する。この手法は、Visual Genome データセットにおいて、シーングラフ生成タスクで最先端のモデルを3.6ポイント以上上回る平均平均精度（mAP）を達成した。

ABSTRACT

Object detection, scene graph generation and region captioning, which are three scene understanding tasks at different semantic levels, are tied together: scene graphs are generated on top of objects detected in an image with their pairwise relationship predicted, while region captioning gives a language description of the objects, their attributes, relations, and other context information. In this work, to leverage the mutual connections across semantic levels, we propose a novel neural network model, termed as Multi-level Scene Description Network (denoted as MSDN), to solve the three vision tasks jointly in an end-to-end manner. Objects, phrases, and caption regions are first aligned with a dynamic graph based on their spatial and semantic connections. Then a feature refining structure is used to pass messages across the three levels of semantic tasks through the graph. We benchmark the learned model on three tasks, and show the joint learning across three tasks with our proposed method can bring mutual improvements over previous models. Particularly, on the scene graph generation task, our proposed method outperforms the state-of-art method with more than 3% margin.

研究の動機と目的

• オブジェクト検出、シーングラフ生成、領域キャプションを統合的にモデリングすることで、視覚的シーン理解におけるタスク間弱い整合性の課題に取り組む。
• オブジェクト、フレーズ、キャプションの間の相互依存性と補完的情報を活用し、特徴学習の向上を図る。
• 空間的および意味的類似性に基づいて、異なる意味的レベル間の領域を動的に整合するグラフ構築メカニズムを設計する。
• 構築されたグラフを通じてメッセージ伝達を実行し、タスク間で特徴を精錬することで、統合最適化を実現するメカニズムを開発する。
• エンドツーエンドの統合学習により、3つのタスクが互いに向上する様子を実証する。

提案手法

• 各画像に対して、オブジェクト、フレーズ、キャプション領域間の空間的オーバーラップと意味的類似性に基づき、動的グラフを構築する。
• 学習されたアテンション重みを用いて、オブジェクト、フレーズ（オブジェクトペア）、キャプションといった異なる意味的レベルの領域を接続する。
• 特徴精錬構造がグラフ全体でメッセージ伝達を実行し、他のタスクの関連領域からの情報を用いて特徴を反復的に精錬する。
• オブジェクト領域およびキャプション領域の両方のための共有畳み込みバックボーンと領域提案ネットワーク（RPN）を用い、フレーズ生成モジュールではオブジェクト領域をペアにグループ化する。
• ROIプーリングにより各領域からの特徴を抽出し、全結合層を経てグラフに渡してタスク間の特徴精錬を実行する。
• 最終的な特徴は、共有パラメータを用いてオブジェクト検出、シーングラフ予測、領域キャプションのエンドツーエンド学習に使用される。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出、シーングラフ生成、領域キャプションの3つのタスクを統合学習することで、相互に性能向上が達成可能か？
• RQ2 異なる意味的レベルの領域間の空間的および意味的関係を効果的にモデル化することで、タスク間の特徴精錬が可能か？
• RQ3 動的に構築されたグラフを介したメッセージ伝達が、3つのタスクの特徴表現をどの程度向上させるか？
• RQ4 フレーズやキャプションからの補完的な監視情報を組み込むことで、小さな物体や検出が難しい物体の検出性能が向上するか？
• RQ5 ベンチマークデータセットにおいて、統一されたエンドツーエンドフレームワークが、タスク特化型またはマルチステージベースラインを上回る性能を発揮できるか？

主な発見

• Visual Genome データセットにおいて、提案された MSDN モデルは、シーングラフ生成タスクで最先端の手法を3.63%～4.31% の絶対的な mAP 向上率で上回った。
• オブジェクト検出の mAP は、ベースラインの Faster R-CNN で 6.72% であったのを、7.43% まで向上させ、フレーズやキャプションからのタスク間コンテキストの恩恵を示した。
• 領域キャプションの AP スコアは、ベースラインの 4.41% から 5.39% まで向上し、シーングラフからの構造的・意味的信号がキャプション品質の向上に寄与したことを示した。
• アブレーションスタディの結果、メッセージ伝達が不可欠であることが確認された。同じアーキテクチャと言語モデルを使用しても、メッセージ伝達を排除したモデル（Baseline-3-bran.）は性能が著しく劣化した。
• 定性的な結果から、予測されたシーングラフとキャプション出力の間に強い相関が観察された。失敗事例の多くは、オブジェクトや関係性の誤分類に起因していた。
• モデルの性能向上は、多段階の監視情報の統合と、動的グラフによる意味的レベル間の特徴の整合・精錬能力に起因すると考察された。