[論文レビュー] On Exploring Undetermined Relationships for Visual Relationship Detection

Yibing Zhan, Jun Yu+2 more|arXiv (Cornell University)|May 5, 2019

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

本論文は、視覚的関係検出を向上させるために、弱い関係や関係のないもの、誤検出されたオブジェクトを含む、ラベルなしで未定義の関係を自動的に生成・活用するマルチモーダル特徴ベースの未定義関係学習ネットワーク（MF-URLN）を提案する。この手法は、確定的信頼度と関係予測の共同学習を通じて、ラベルなしで未定義の関係を活用する。VRDデータセットにおいて、23.9%のトップ50関係検出リcallを達成し、従来手法に比べ顕著な向上を示した。

ABSTRACT

In visual relationship detection, human-notated relationships can be regarded as determinate relationships. However, there are still large amount of unlabeled data, such as object pairs with less significant relationships or even with no relationships. We refer to these unlabeled but potentially useful data as undetermined relationships. Although a vast body of literature exists, few methods exploit these undetermined relationships for visual relationship detection. In this paper, we explore the beneficial effect of undetermined relationships on visual relationship detection. We propose a novel multi-modal feature based undetermined relationship learning network (MF-URLN) and achieve great improvements in relationship detection. In detail, our MF-URLN automatically generates undetermined relationships by comparing object pairs with human-notated data according to a designed criterion. Then, the MF-URLN extracts and fuses features of object pairs from three complementary modals: visual, spatial, and linguistic modals. Further, the MF-URLN proposes two correlated subnetworks: one subnetwork decides the determinate confidence, and the other predicts the relationships. We evaluate the MF-URLN on two datasets: the Visual Relationship Detection (VRD) and the Visual Genome (VG) datasets. The experimental results compared with state-of-the-art methods verify the significant improvements made by the undetermined relationships, e.g., the top-50 relation detection recall improves from 19.5% to 23.9% on the VRD dataset.

研究の動機と目的

• ラベルなしで未定義の関係（弱い関係、否定的関係、誤検出されたオブジェクトペアなど）が視覚的関係検出の性能向上に寄与するかを調査すること。
• 人間がアノテートしたデータに存在しないオブジェクトペアから、意味のある未定義関係を自動的に生成する方法を開発すること。
• 視覚的、空間的、言語的特徴を統合するマルチモーダルネットワークを設計し、関係をより良い形で表現すること。
• 共有され相関関係にあるサブネットワークを用いて、確定的信頼度と関係予測を共同で学習すること。
• 未定義関係が正則化信号として機能し、視覚的関係検出における一般化性能とロバスト性を向上させることを実証すること。

提案手法

• MF-URLNは、Faster R-CNNで検出されたオブジェクトペアを人間がアノテートした関係と照合するための独自の基準を用い、一致しないペアを未定義関係としてラベル付けすることで、未定義関係を生成する。
• モデルは、各オブジェクトペアに対して、視覚的（CNNベース）、空間的（空間的配置）、言語的（単語埋め込み）の3つの補完的モーダルから特徴を抽出・統合する。
• 2つの相関関係にあるサブネットワークを採用する：1つは確定的信頼度（確定的ペアと未定義ペアを区別）を予測し、もう1つは実際の関係を予測する。
• 最終的な関係予測は、3つのネットワーク（ユニオン、主語、目的語固有）のスコアの幾何平均として計算され、式 $ P(R) = P(R|u) \cdot P(R|s) \cdot P(R|o) $ を用いる。
• 共有パラメータフレームワーク内で、サブネットワークを訓練するための共同損失関数が用いられ、知識の転送と一般化性能の向上が可能になる。
• 推論モデル（MF-URLN-IM）が導入され、確定的信頼度サブネットワークを用いて予測を精緻化することで、性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 未定義関係（弱い関係、否定的関係、誤検出されたオブジェクトペアなど）は、視覚的関係検出の性能向上に寄与するか？
• RQ2 未ラベル画像データから、未定義関係を自動的かつ効果的に生成する方法は何か？
• RQ3 マルチモーダル特徴統合（視覚的、空間的、言語的）は、複雑な関係のモデリングにどのような影響を与えるか？
• RQ4 確定的信頼度と関係予測の共同学習は、検出性能にどのように寄与するか？
• RQ5 未定義関係の使用は、視覚的関係検出における誤検出オブジェクトの悪影響を軽減できるか？

主な発見

• MF-URLNは、VRDデータセットでトップ50関係検出リcallに23.9%を達成し、ベースラインの19.5%から顕著な向上を示した。
• VRDデータセットにおいて、未定義関係を用いることで、トップ50フレーズ検出リcallは25.2%から31.5%に向上した。
• 推論モデルを統合したMF-URLN-IMバージョンは、すべての指標でベースラインのMF-URLNを上回り、信頼度推定の精緻化の価値を示した。
• 確定的信頼度サブネットワークは、人間がアノテートした関係を効果的に特定し、誤検出オブジェクト由来の誤検出を抑制し、検出のロバスト性を向上させた。
• 失敗事例から、遮られやすいポーズ（例：車に座っている人物）や低信頼度の未定義関係は依然として課題であり、関係スコアリングの改善の余地があることが示された。
• 結果は、未定義関係が効果的な正則化信号として機能し、学習済み関係およびゼロショット関係の両方でモデルの一般化性能と性能を向上させることを確認した。