[論文レビュー] LinkNet: Relational Embedding for Scene Graph

Sanghyun Woo, Dahun Kim+2 more|arXiv (Cornell University)|Nov 15, 2018

Multimodal Machine Learning Applications参考文献 28被引用数 6

ひとこと要約

LinkNetは、画像内のすべてのオブジェクトインスタンス間の相関関係をモデル化する関係埋め込みモジュールを提案し、シーングラフ生成の性能を向上させ、Visual Genomeベンチマークで最先端の性能を達成した。グローバルコンテキストと幾何的レイアウト符号化を統合することで、個々のオブジェクト特徴にとどまらず、関係分類の性能が向上した。

ABSTRACT

Objects and their relationships are critical contents for image understanding. A scene graph provides a structured description that captures these properties of an image. However, reasoning about the relationships between objects is very challenging and only a few recent works have attempted to solve the problem of generating a scene graph from an image. In this paper, we present a method that improves scene graph generation by explicitly modeling inter-dependency among the entire object instances. We design a simple and effective relational embedding module that enables our model to jointly represent connections among all related objects, rather than focus on an object in isolation. Our method significantly benefits the main part of the scene graph generation task: relationship classification. Using it on top of a basic Faster R-CNN, our model achieves state-of-the-art results on the Visual Genome benchmark. We further push the performance by introducing global context encoding module and geometrical layout encoding module. We validate our final model, LinkNet, through extensive ablation studies, demonstrating its efficacy in scene graph generation.

研究の動機と目的

• すべてのオブジェクトインスタンス間の依存関係を明示的にモデル化することで、それらを個別に扱うのではなく、シーングラフ生成を改善すること。
• オブジェクトペア間の共同作用を捉える学習可能な関係埋め込みモジュールを用いて、関係分類の精度を向上させること。
• グローバルコンテキストと幾何的レイアウトの手がかりを統合することで、シーングラフ生成の性能をさらに向上させること。
• Visual Genomeデータセット上で広範なアブレーションスタディを実施し、各モジュールの有効性を検証すること。

提案手法

• 関係埋め込みモジュールは、オブジェクトペア間の特徴を用いて、アテンションに類似した重みを計算し、オブジェクト間の依存関係の共同表現を可能にする。
• モジュールは、関係の可能性を反映するソフトアドセンス行列を生成するために、学習可能な重み行列を用いる。
• グローバルコンテキスト符号化は、グローバル平均プーリングとマルチラベル分類ヘッドを用いて、画像全体におけるオブジェクトカテゴリの存在を捉える。
• 幾何的レイアウト符号化は、オブジェクト間の相対的な空間座標（例：x, y, w, h）を用い、関係予測に空間的なインダクティブバイアスを提供する。
• モデルは、オブジェクト検出のためのFaster R-CNNの上に構築され、ROI-alignを用いて関係計算用の固定サイズ特徴量を抽出する。
• 最終的なアーキテクチャ、LinkNetは、すべてのモジュールをエンドツーエンドで統合し、検出、分類、関係予測のためのマルチタスク損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 すべてのオブジェクトインスタンス間の相関関係をモデル化することで、シーングラフ生成の性能が向上するか？
• RQ2 外部知識なしで、学習可能な関係埋め込みモジュールが複雑な関係をどれほど効果的に捉えられるか？
• RQ3 グローバルコンテキストと幾何的レイアウト符号化は、関係分類の性能をどの程度向上させるか？
• RQ4 異なる演算（例：softmax対比sigmoid）や関係計算手法（ドット積対比ユークリッド距離）は、性能にどのように影響するか？

主な発見

• LinkNetは、Visual Genomeベンチマークで最先端の性能を達成し、ノードおよびエッジ予測の両方で、従来の手法を上回った。
• 関係埋め込みモジュール単体でも最先端の性能に到達しており、オブジェクト間の依存関係をモデル化する上でその重要性が示された。
• 幾何的レイアウト符号化モジュールは、'using'、'carrying'、'riding'などの空間的に正規化された述語のリコールを顕著に向上させた。
• 関係埋め込み行列におけるロウワイズsoftmax処理がシグモイドを上回った。これは、アテンションに類似した競争メカニズムが関係表現を改善することを示している。
• ドット積関係計算手法はユークリッド距離をわずかに上回ったが、両者とも追加のモジュールによって恩恵を受けることが示され、堅牢性が確認された。
• 関係埋め込み行列の可視化により、モデルがスパースなアノテーションでさえも、正解の関係を正確に表現していることが確認された。