[論文レビュー] Scene Graph Generation by Iterative Message Passing

Danfei Xu, Yuke Zhu+2 more|arXiv (Cornell University)|Jan 10, 2017

Multimodal Machine Learning Applications被引用数 102

ひとこと要約

この論文は、オブジェクトと関係性の推定を反復的に精緻化するプリムアル-デュアルメッセージパッシングを用いた、画像から視覚的に根拠のあるシーングラフを生成するエンドツーエンドモデルを提案する。

ABSTRACT

Understanding a visual scene goes beyond recognizing individual objects in isolation. Relationships between objects also constitute rich semantic information about the scene. In this work, we explicitly model the objects and their relationships using scene graphs, a visually-grounded graphical structure of an image. We propose a novel end-to-end model that generates such structured scene representation from an input image. The model solves the scene graph inference problem using standard RNNs and learns to iteratively improves its predictions via message passing. Our joint inference model can take advantage of contextual cues to make better predictions on objects and their relationships. The experiments show that our model significantly outperforms previous methods for generating scene graphs using Visual Genome dataset and inferring support relations with NYU Depth v2 dataset.

研究の動機と目的

• 物体検出を越える視覚的シーンの構造化表現の必要性を動機づけ、オブジェクトとそれらの関係をシーングラフとして明示的にモデル化する。
• 画像からオブジェクトカテゴリ、境界ボックス、ペアワイズ関係を共同推論するエンドツーエンドのニューラルモデルを提案する。
• 文脈的手掛かりを組み込み、反復的に予測を洗練させるために、二部グラフ上の反復的メッセージ伝搬を活用する。
• 新しいVisual Genomeベースのシーングラフデータセットと、支持関係推論のためのNYU Depth v2でこのアプローチを検証する。

提案手法

• 入力画像からRegion Proposal Network (RPN)を用いてオブジェクト提案を抽出する。
• 各オブジェクト提案をノードGRUで表現し、各オブジェクトペアをエッジGRUで表現し、グラフ全体でパラメータを共有する。
• 適応的で学習可能なメッセージプーリングを用いてノードとエッジの間にメッセージを生成し、反復的なGRU更新を行う。
• プリムアル-デュアル二部グラフ構造を活用し、ノードGRUとエッジGRU間のメッセージを交互の反復で効率的に伝搬する。
• 数回の反復の後に最終的なオブジェクトクラス、境界ボックスの補正、関係述語を予測する。
• 分類タスクにはクロスエントロピー、境界ボックスオフセットにはL1損失を用いて訓練し、全結合レイヤとGRUのみファインチューニング、VGG-16特徴はFC層を除いて凍結する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドモデルは画像から直接視覚的に根拠のあるシーングラフを生成できるか？
• RQ2 二部グラフ上の反復的メッセージ伝搬は、個々の要素や非反復のベースラインと比較してオブジェクトと関係予測を改善するか？
• RQ3 学習された適応的メッセージプーリングはグラフ全体の情報統合にどのように影響するか？
• RQ4 モデルは屋内シーンの支持関係のような密な空間的関係にどの程度一般化できるか？

主な発見

モデル	PredCls R@50	PredCls R@100	SGCls R@50	SGCls R@100	SGGen R@50	SGGen R@100
[26]	27.88	35.04	11.79	14.11	0.32	0.47
avg. pool	32.39	39.63	15.65	18.27	2.70	3.42
max pool	34.33	41.99	16.31	18.70	3.03	3.71
final	44.75	53.08	21.72	24.38	3.44	4.24

• 学習された重み付きメッセージプーリングを用いた最終モデルは、Visual GenomeのPredCls、SGCls、SGGenタスクで強力なベースラインを上回る（PredCls R@100: 53.08 vs 41.99; SGCls R@100: 24.38 vs 18.70; SGGen R@100: 4.24 vs 3.71）。
• メッセージ伝搬を2回行うと最良の述語分類性能が得られ、追加の反復はノイズの多いメッセージを招き結果を悪化させる可能性がある。
• 頻繁な述語と頻度の低い述語の両方で、文脈情報と適応的なメッセージ集合化のおかげでモデルは顕著な利得を達成する（各述語のRecall@5は本モデルで性能が向上）。
• NYU Depth v2ではRGB画像を用いた支持関係予測で最先端の結果を達成（タイプを考慮: 89.0% vs 82.1%の最良前例; タイプ非依存: 91.2% vs 88.4%の最良前例）。
• Visual Genomeベースの結果には、1枚あたり平均25オブジェクトと22の関係を含む refined データセットを含み、シーングラフ生成タスクの健全な評価を可能にしている。