[論文レビュー] Attentive Relational Networks for Mapping Images to Scene Graphs

Mengshi Qi, Weijian Li+3 more|arXiv (Cornell University)|Nov 26, 2018

Multimodal Machine Learning Applications参考文献 51被引用数 11

ひとこと要約

本稿では、視覚的特徴、言語的埋め込み、グラフ自己注意機構を統合することで、画像からシーングラフへのマッピングを向上させるアテンション型関係ネットワークを提案する。モデルは共通の空間に視覚的特徴とテキスト特徴をアライメントするための意味的変換モジュールと、結合ノード表現を学習するためのグラフ自己注意機構を用い、Visual Genome データセットにおいて最先端の性能を達成した。

ABSTRACT

Scene graph generation refers to the task of automatically mapping an image into a semantic structural graph, which requires correctly labeling each extracted object and their interaction relationships. Despite the recent success in object detection using deep learning techniques, inferring complex contextual relationships and structured graph representations from visual data remains a challenging topic. In this study, we propose a novel Attentive Relational Network that consists of two key modules with an object detection backbone to approach this problem. The first module is a semantic transformation module utilized to capture semantic embedded relation features, by translating visual features and linguistic features into a common semantic space. The other module is a graph self-attention module introduced to embed a joint graph representation through assigning various importance weights to neighboring nodes. Finally, accurate scene graphs are produced by the relation inference module to recognize all entities and the corresponding relations. We evaluate our proposed method on the widely-adopted Visual Genome Dataset, and the results demonstrate the effectiveness and superiority of our model.

研究の動機と目的

• 複雑な視覚的関係をモデル化することで、画像から正確で構造的なシーングラフを生成する課題に取り組む。
• 共通の意味的空間に視覚的特徴と言語的知識を統合することで、シーングラフ生成を改善する。
• エンティティおよび関係の適応的で注意重み付きのグラフ表現を学習することで、グローバルなシーン構造を捉える。
• 逐次処理や固定のグラフ構造に依存する従来手法の限界を克服する。
• 内部トリプレットの依存関係と文脈的関係をモデル化することで、関係予測の正確性を向上させる。

提案手法

• 意味的変換モジュールは、学習された線形変換と対照的損失関数を用いて、視覚的特徴と単語埋め込みを共有された意味的空間に投影する。
• グラフ自己注意モジュールは、隣接ノード間の動的で文脈に依存する注意重みを計算し、結合グラフ表現を生成する。
• モデルは二段階パイプラインを用いる：まず、オブジェクト検出バックボーンがエンティティを特定し、次にマルチレイヤーパーセプトロン（MLP）を介して関係推論を実行する。
• 視覚的特徴と言語的特徴は、意味的空間で連結により統合され、意味的類似性を保持するための専用の意味的損失で最適化される。
• グラフ自己注意機構により、関連するノード相互作用に注目することで、グローバルなシーン構造のエンドツーエンド学習が可能になる。
• フレームワークは、検出、意味的、関係予測損失の組み合わせにより、Visual Genome データセット上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴と言語的特徴を、シーングラフ生成の向上に寄与する共有意味的空間に効果的にアライメントする方法は何か？
• RQ2 従来のRNNやCNNベースの手法と比較して、グラフ自己注意機構は、シーングラフの結合表現学習にどの程度寄与するか？
• RQ3 一括処理または逐次処理に比べ、統合的でアテンションベースのグラフモデリングアプローチは、複雑な視覚的関係を捉える上で優れているか？
• RQ4 言語的知識を統合することで、曖昧またはレアな視覚的関係を解消する能力にどのような影響を与えるか？
• RQ5 意味的特徴統合と損失関数は、シーングラフ生成全体のパフォーマンスにどの程度寄与しているか？

主な発見

• 提案モデルは、Visual Genome データセットにおいて最先端の性能を達成し、ノードおよび関係予測の両面で既存のSOTA手法を上回った。
• アブレーションスタディの結果、意味的変換モジュール単体でも、それを含まないバージョンよりも優れた結果を示し、その重要性を裏付けた。
• 意味的空間における特徴の連結と意味的損失の組み合わせが、加算や要素ごとの乗算よりも優れたパフォーマンスを発揮した。
• 主成分分析（PCA）の可視化により、意味的変換モジュールが、オブジェクト、動詞、主語の意味的クラスタを意味的に意味のある形で学習していることが確認され、関連するトリプレット間で線形関係が見られた。
• 定性的な結果から、モデルは「男がネクタイを着ている」や「象が脚を持っている」のような複雑で曖昧な関係を、正解アノテーションが不正確であっても正しく予測していることが示された。
• 失敗事例は主にオブジェクト検出の誤りや曖昧な動詞に起因しており、より良い検出器の導入によりさらなるパフォーマンス向上が期待できる。