[論文レビュー] Graph R-CNN for Scene Graph Generation

Jianwei Yang, Jiasen Lu+3 more|arXiv (Cornell University)|Aug 1, 2018

Multimodal Machine Learning Applications参考文献 34被引用数 10

ひとこと要約

本稿では、関係候補ネットワーク（RePN）を用いて不適切なオブジェクト関係を知的に pruning し、注意メカニズムを備えたグラフ畳み込みネットワーク（aGCN）でシーングラフ全体に文脈情報を伝搬する、新しいシーングラフ生成モデルである Graph R-CNN を提案する。本手法は Visual Genome データセットにおいて Recall@50 で 5.0 の絶対的向上を達成し、SOTA の性能を発揮するとともに、オブジェクト・属性・三項組み合わせの再検出率を考慮する新しい包括的評価指標 SGGen+ を導入した。

ABSTRACT

We propose a novel scene graph generation model called Graph R-CNN, that is both effective and efficient at detecting objects and their relations in images. Our model contains a Relation Proposal Network (RePN) that efficiently deals with the quadratic number of potential relations between objects in an image. We also propose an attentional Graph Convolutional Network (aGCN) that effectively captures contextual information between objects and relations. Finally, we introduce a new evaluation metric that is more holistic and realistic than existing metrics. We report state-of-the-art performance on scene graph generation as evaluated using both existing and our proposed metrics.

研究の動機と目的

• すべての可能なオブジェクトペアを関係の候補として扱う既存のシーングラフ生成手法が引き起こす二次的計算量の問題を解消すること。
• ランダムまたはヒューリスティックな pruning に依存するのではなく、現実世界のオブジェクト・関係の規則性を学習し、有望な関係を優先的に扱うことで、より自然な関係の構造をモデル化すること。
• グラフ畳み込みに学習可能な注意メカニズムを導入することで、オブジェクトおよび関係間の文脈統合を向上させること。
• オブジェクト・属性・三項組み合わせの再検出率を総合的に評価する新しい包括的評価指標 SGGen+ を提案し、微小な検出誤差に対する過剰なペナルティを軽減すること。

提案手法

• モデルは標準的なオブジェクト検出パイプラインを用い、初期のシーングラフのノードとして局所化されたオブジェクト領域を抽出する。
• 関係候補ネットワーク（RePN）はオブジェクトペア間の類似度スコアを計算し、不適切な関係を pruning することで、グラフをスパースな候補構造に削減する。
• 注意メカニズムを備えたグラフ畳み込みネットワーク（aGCN）は、学習可能な注意重みをエッジに適用することで、pruned グラフ全体に文脈情報を伝搬し、ノードおよびエッジの表現を更新する。
• aGCN モジュールはエッジごとの注意重みを予測し、情報伝達の動的モデュレーションを可能にし、ノイズや信頼性の低いエッジに対する耐性を向上させる。
• オブジェクト検出、関係分類、三項組み合わせ予測の複数タスク損失を統合して、エンド・ツー・エンドでモデルを学習する。
• 新しい評価指標 SGGen+ は、単体エンティティ（オブジェクト、動詞）、ペアエントリ（オブジェクト-属性）、三項組み合わせ（主語-動詞-目的語）の再検出率を計算し、包括的な評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な構造的 pruning メカニズム（RePN）は、真の関係の再検出率を維持しつつ、シーングラフ生成の計算負荷を効果的に低減できるか？
• RQ2 注意ベースのグラフ畳み込みネットワーク（aGCN）は、シーングラフ内の高階層の文脈的依存関係をモデル化することで、関係予測性能をどの程度向上できるか？
• RQ3 提案された SGGen+ 評価指標は、従来の三項ベースの指標と比較して、より現実的かつ耐性のあるシーングラフ生成性能の評価を可能にするか？
• RQ4 Graph R-CNN の個々の構成要素（RePN と aGCN）は、精度および効率の両面で全体の性能向上にどの程度寄与しているか？
• RQ5 モデルは共起統計に依存せず、画像固有の文脈的関係を捉えることができ、頻度バイアスに依存しないか？

主な発見

• Graph R-CNN は、先行の SOTA メソッドと比較して Visual Genome データセットにおいて Recall@50 で 5.0 の絶対的向上を達成し、顕著な性能向上を示した。
• RePN モジュールは、平均してオブジェクト検出 mAP@0.5 を 3.2 パcentage points 向上させ、特に 'racket' や 'windshield' のような小規模で関係が豊富なオブジェクトで顕著な性能向上を示した。
• aGCN モジュールの追加により、アブレーションスタディで SGGen+ Recall@50 が 35.3 から 35.9、10.8 から 11.4 に上昇し、文脈統合の有効性が裏付けられた。
• aGCN の注意メカニズムにより、標準的な GCN よりも性能が向上した。これは、動的エッジ注意が信頼性の低い情報伝達をフィルタリングする上で不可欠であることを示している。
• Graph R-CNN は、よりシンプルで効果的なアーキテクチャのおかげで、既存のモデルより効率的である。推論時、MSDN より 1.86 倍速く、IMP より 3.27 倍速い。
• 提案された SGGen+ 評価指標により、モデルが標準指標だけでなく、より包括的かつ現実的な評価環境でも既存手法を上回っていることが判明し、耐性および一般化能力の高さが確認された。