[論文レビュー] GPS-Net: Graph Property Sensing Network for Scene Graph Generation

Xin Lin, Changxing Ding+2 more|arXiv (Cornell University)|Mar 29, 2020

Multimodal Machine Learning Applications参考文献 41被引用数 9

ひとこと要約

GPS-Netは、エッジの方向性、ノードの優先順位、長尾な関係分布を明示的にモデル化する新しいグラフプロパティセンシングネットワークを提案する。方向性に配慮したメッセージパッシングモジュール、ノード優先順位に敏感な損失関数、および適応的関係事前分布機構を導入し、VG、OI、VRDベンチマークで最先端の性能を達成し、再現率および正確性指標において顕著な向上を実現した。

ABSTRACT

Scene graph generation (SGG) aims to detect objects in an image along with their pairwise relationships. There are three key properties of scene graph that have been underexplored in recent works: namely, the edge direction information, the difference in priority between nodes, and the long-tailed distribution of relationships. Accordingly, in this paper, we propose a Graph Property Sensing Network (GPS-Net) that fully explores these three properties for SGG. First, we propose a novel message passing module that augments the node feature with node-specific contextual information and encodes the edge direction information via a tri-linear model. Second, we introduce a node priority sensitive loss to reflect the difference in priority between nodes during training. This is achieved by designing a mapping function that adjusts the focusing parameter in the focal loss. Third, since the frequency of relationships is affected by the long-tailed distribution problem, we mitigate this issue by first softening the distribution and then enabling it to be adjusted for each subject-object pair according to their visual appearance. Systematic experiments demonstrate the effectiveness of the proposed techniques. Moreover, GPS-Net achieves state-of-the-art performance on three popular databases: VG, OI, and VRD by significant gains under various settings and metrics. The code and models are available at \url{https://github.com/taksau/GPS-Net}.

研究の動機と目的

• シーングラフの未だ十分に検討されていない特性、すなわちエッジの方向性、ノードの優先順位、長尾な関係分布を解決すること。
• 統合的なディープラーニングフレームワーク内で、これらの3つの特性を明示的にモデル化することで、シーングラフ生成（SGG）の性能を向上させること。
• 特に低頻度の関係に対して顕著なクラス不均衡問題を、適応的頻度事前調整により軽減すること。
• 既存のSGGパイプラインに統合可能な微分可能で効率的かつ効果的なモジュールを設計すること。

提案手法

• エッジの方向性を符号化し、ノード固有の文脈特徴を生成するため、Tucker分解に基づく三重線形モデルを用いた方向性に配慮したメッセージパッシング（DMP）モジュールを導入する。
• DMPモジュールで得られた文脈情報をさらに精緻化するために、トランスフォーマー層を用いる。
• 各ノードの三重項内での頻度に応じて、焦点を当てるパラメータを動的に調整するノード優先順位に敏感な損失関数（NPS-loss）を提案する。トレーニング中に高インパクトノードを優先する。
• 関係の頻度分布を緩和するために、log-softmax関数を用い、視覚的外観に基づいて、主語・目的語ペアごとに事前分布を適応的に調整する注目メカニズムを導入する。
• メッセージパッシング中にエッジの方向性の不確実性を扱うために、DMPにおけるスタッキング操作を採用し、モデルのロバスト性を向上させる。
• 微分可能で凸な損失関数を用いることで、勾配降下法を用いたエンドツーエンド学習が可能となり、従来の非微分可能な手法とは対照的である。

実験結果

リサーチクエスチョン

• RQ1 シーングラフにおけるエッジの方向性を、ノード表現および関係予測の向上に寄与する形で効果的に符号化するにはどうすればよいか？
• RQ2 学習可能な損失関数によるノード優先順位のモデル化が、長尾なSGGベンチマークにおける性能向上にどの程度寄与するか？
• RQ3 関係の頻度分布を緩和し、適応的に調整することで、SGGにおける長尾データの悪影響を軽減できるか？
• RQ4 提案されたモジュール（DMP、NPS-loss、ARM）が、標準的なSGGベンチマークで個別および統合的に性能向上にどのように寄与しているか？

主な発見

• GPS-Netは、Visual Genome（VG）、Open Images（OI）、Visual Relationship Detection（VRD）データセットで最先端の性能を達成し、VCTREE や CMAT といった先行手法を上回った。
• VGでは、RelDNと比較してSGCLS Recall@100で5.5%の絶対的向上を達成し、3つの評価プロトコルの平均で2.5%の向上を示した。
• OpenImagesでは、RelDNと比較して重み付きスコアを2.4%向上させ、レアカテゴリ「wears」ではAPrelで24.5%、「hits」では20.6%の差を示した。
• アブレーションスタディの結果、DMP、NPS-loss、ARMの各モジュールが顕著に寄与していることが確認され、DMPはGCMP や S-GCMP を上回った。また、NPS-loss において μ=4 の設定が最良の性能を示した。
• NPS-lossは、頻度に基づく焦点パラメータの調整によりノード優先順位を明示的にモデル化することで、標準的なファーカス損失を上回った。
• DMPにおけるスタッキング操作は、あらゆる指標で一貫して性能向上をもたらし、エッジの方向性の不確実性を扱う上での有効性を裏付けた。