[論文レビュー] Towards Overcoming False Positives in Visual Relationship Detection

Daisheng Jin, Xiao Ma+9 more|arXiv (Cornell University)|Dec 23, 2020

Multimodal Machine Learning Applications参考文献 52被引用数 5

ひとこと要約

本稿では、SABRAと呼ばれる新しい視覚的関係検出フレームワークを提案する。このフレームワークは、バランスの取れたネガティブプロポーザルサンプリング（BNPS）により、クラスに偏ったネガティブプロポーザル分布に対処することで誤検出を低減し、マルチヘッド非均質的グラフアテンションネットワーク（MH-GAT）と空間マスクデコーダーを用いて空間的モデリングを強化する。SABRAは、低頻度で高不確実性な誤検出を顕著に低減することで、HOIおよび一般VRDベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we investigate the cause of the high false positive rate in Visual Relationship Detection (VRD). We observe that during training, the relationship proposal distribution is highly imbalanced: most of the negative relationship proposals are easy to identify, e.g., the inaccurate object detection, which leads to the under-fitting of low-frequency difficult proposals. This paper presents Spatially-Aware Balanced negative pRoposal sAmpling (SABRA), a robust VRD framework that alleviates the influence of false positives. To effectively optimize the model under imbalanced distribution, SABRA adopts Balanced Negative Proposal Sampling (BNPS) strategy for mini-batch sampling. BNPS divides proposals into 5 well defined sub-classes and generates a balanced training distribution according to the inverse frequency. BNPS gives an easier optimization landscape and significantly reduces the number of false positives. To further resolve the low-frequency challenging false positive proposals with high spatial ambiguity, we improve the spatial modeling ability of SABRA on two aspects: a simple and efficient multi-head heterogeneous graph attention network (MH-GAT) that models the global spatial interactions of objects, and a spatial mask decoder that learns the local spatial configuration. SABRA outperforms SOTA methods by a large margin on two human-object interaction (HOI) datasets and one general VRD dataset.

研究の動機と目的

• 視覚的関係検出（VRD）における高い誤検出率の根本的原因、特にネガティブプロポーザル分布の不均衡に起因する要因を特定すること。
• とくにレアで検出が難しい誤検出に対して、顕著に歪んだネガティブプロポーザル分布が引き起こす最適化の困難さを緩和すること。
• 主語・目的語ペアのグローバルな文脈とローカルな空間的配置を明示的にモデリングすることで、VRDにおける空間的推論を向上させること。
• 人間-オブジェクトインタラクション（HOI）および一般VRDタスクの両方において、誤検出を効果的に低減できる汎用性の高いフレームワークを開発すること。

提案手法

• SABRAは、検出精度と関係の正しさに基づいてネガティブサンプルの不均衡な分布をモデル化するため、5クラスに分割されたネガティブプロポーザルサブグループ（$S_{\textrm{neg}}^{1:5}$）を導入する。
• バランスの取れたネガティブプロポーザルサンプリング（BNPS）を採用し、各サブクラスの頻度を逆転させることで、クラスバランスの取れたミニバッチサンプリングを実現し、トレーニングの安定性と一般化性能を向上させる。
• マルチヘッド非均質的グラフアテンションネットワーク（MH-GAT）を用い、主語、目的語、ユニオン特徴に対して別々のメッセージパッシング方式を適用することで、グローバルな空間的および関係的文脈をモデリングする。
• 空間マスクデコーダー（SMD）を導入し、特徴空間に空間的制約を課えることで、ローカルな空間的配置を明示的に学習し、局所化精度を向上させる。
• MH-GATはエッジ特徴を組み込み、メッセージパッシングを強化し、SMDは学習可能なマスクを用いてユニオン特徴マップ内の関連する空間領域に注目する。
• BNPS、MH-GAT、SMDを統合したフレームワークにより、VRDにおけるデータ分布の不均衡と空間的曖昧性の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 空間的曖昧性を超えて、視覚的関係検出における高い誤検出率の原因は何であるか？
• RQ2 ネガティブプロポーザル分布の不均衡が、VRDにおけるモデルの最適化と性能にどのように影響を与えるか？
• RQ3 ネガティブプロポーザルのバランスの取れたサンプリングは、VRDにおけるレアで難しい誤検出の検出を改善できるか？
• RQ4 強化されたグローバルおよびローカルな空間的モデリング技術は、VRDにおける誤検出をどの程度低減できるか？
• RQ5 バランスの取れたサンプリングと空間的モデリングの統合は、HOIおよび一般VRDベンチマークにおける性能向上にどの程度寄与するか？

主な発見

• SABRAは、ベースラインと比較して低頻度で困難な誤検出（$S_{\textrm{neg}}^{3:5}$）を71.1%低減した。これはBNPSの有効性を示している。
• BNPSと空間モジュール（MH-GAT + SMD）の組み合わせにより、誤検出全体が71.1%低減した。そのうち、空間モジュール単体でも58.5%の低減が達成された。
• V-COCOデータセットでは、SABRAはベースラインと比較してAP roleで2.04の絶対的向上を達成した。これは、データの不均衡が性能に顕著に悪影響を及えることを示している。
• 空間マスクデコーダー（SMD）は、バイナリマスクや位置埋め込みよりも優れた性能を示した。これは、明示的な空間的制約学習が、暗黙的な手法よりも効果的であることを証明している。
• 非均質的メッセージパッシングとエッジ特徴を組み込んだMH-GATは、標準的なGATよりも性能が向上した。これは、特徴に特化したメッセージパッシングの重要性を示している。
• SABRAは、V-COCO、HICO-DET、VRDの3つのベンチマークで最先端の性能を達成し、汎用性とロバスト性を確認した。