[論文レビュー] PPR-FCN: Weakly Supervised Visual Relation Detection via Parallel Pairwise R-FCN

Hanwang Zhang, Zawlin Kyaw+2 more|arXiv (Cornell University)|Aug 7, 2017

Multimodal Machine Learning Applications参考文献 49被引用数 20

ひとこと要約

PPR-FCNは、画像レベルの関係アノテーションのみを用いて、オブジェクトと主語-述語-目的語関係を同時に検出する、並列でペアワイズな領域ベースの完全畳み込みネットワークを提案する。位置-役割に敏感なスコアマップとペアワイズRoIプーリングを活用することで、弱教師付き視覚的関係検出（WSVRD）の分野で最先端の性能を達成し、計算効率を維持したまま、先行する弱教師付き手法を大きく上回る。

ABSTRACT

We aim to tackle a novel vision task called Weakly Supervised Visual Relation Detection (WSVRD) to detect "subject-predicate-object" relations in an image with object relation groundtruths available only at the image level. This is motivated by the fact that it is extremely expensive to label the combinatorial relations between objects at the instance level. Compared to the extensively studied problem, Weakly Supervised Object Detection (WSOD), WSVRD is more challenging as it needs to examine a large set of regions pairs, which is computationally prohibitive and more likely stuck in a local optimal solution such as those involving wrong spatial context. To this end, we present a Parallel, Pairwise Region-based, Fully Convolutional Network (PPR-FCN) for WSVRD. It uses a parallel FCN architecture that simultaneously performs pair selection and classification of single regions and region pairs for object and relation detection, while sharing almost all computation shared over the entire image. In particular, we propose a novel position-role-sensitive score map with pairwise RoI pooling to efficiently capture the crucial context associated with a pair of objects. We demonstrate the superiority of PPR-FCN over all baselines in solving the WSVRD challenge by using results of extensive experiments over two visual relation benchmarks.

研究の動機と目的

• 画像レベルの関係アノテーションのみを用いて、高価なインスタンスレベルのラベル付けを回避する視覚的関係検出の課題に対処すること。
• 弱教師付き関係検出におけるO(N²)の領域ペアを処理する際の計算および最適化の難しさを克服すること。
• 並列で完全畳み込みアーキテクチャを用いることで、一般化性能を向上させ、局所最適解を回避すること。
• インスタンスレベルのバウンディングボックスの監視なしに、大規模な関係検出に対して効率的でエンドツーエンドの学習と推論を可能にすること。
• 視覚言語理解分野において新規かつ未だ十分に検討されていないタスクである弱教師付き視覚的関係検出の強力なベースラインを確立すること。

提案手法

• PPR-FCNは、画像内の領域ペアに対して弱教師付きオブジェクト検出（WSOD）と弱教師付き述語予測（WSPP）を同時に実行する二本の並列FCNアーキテクチャを採用する。
• 相対的な位置と役割に敏感な畳み込みフィルタを用いて空間的文脈と主語／目的語の役割を符号化する、位置-役割に敏感なスコアマップを導入する。
• 関係予測に適した空間的および役割に意識的な特徴を保持する、新しいペアワイズRoIプーリング層を提案し、領域ペア間での効率的なスコア推定を可能にする。
• 完全畳み込みバックボーンを介して画像全体の計算を共有することで、個々の領域用の全結合ネットワークと比較して、推論コストを著しく削減する。
• 画像レベルの三つ組アノテーションを用いてエンドツーエンドで学習し、オブジェクト検出と関係予測の間で交互最適化を実行する。
• 領域ペアの真値バウンディングボックスに依存しないため、弱教師付き設定に適している。

実験結果

リサーチクエスチョン

• RQ1 画像レベルの関係アノテーションのみが利用可能な状況で、完全畳み込みネットワークが視覚的関係を効果的に検出できるか。
• RQ2 弱教師付き関係検出において、空間的および役割的文脈を効果的にモデル化することで、主語と目的語の不一致を回避できるか。
• RQ3 並列FCNアーキテクチャが、逐次的または全結合アプローチと比較して、WSVRDにおける局所最適解の回避と一般化性能の向上に寄与できるか。
• RQ4 大規模な関係検出において、ペアワイズRoIプーリングと個々の領域用の全結合サブネットワークの間で、計算コストと性能のトレードオフはどのようなものか。
• RQ5 WSVRDの性能が、事前条件としての弱教師付きオブジェクト検出の品質にどの程度依存するか。

主な発見

• VRDベンチマークでは、PPR-FCNはR@50で6.93%、R@100で8.22%を達成し、次に優れた弱教師付き手法（VTransE-MIL）の4.09%および6.15%を大きく上回った。
• VGベンチマークでは、PPR-FCNはR@50で2.41%、R@100で3.23%を達成し、VTransE-MIL（1.53%および2.02%）および他の弱教師付きベースラインを上回った。
• 10,000の領域ペアを処理しながらも、PPR-FCNはVTransE-MILの約2倍速く、Titan X GPU上での推論時間が270msから150msに短縮された。
• モデルの性能は主に弱教師付きオブジェクト検出モジュールの性能に制限されており、オブジェクト検出に失敗すると、関係予測にも連鎖的な失敗が生じる。
• 共有された完全畳み込み計算により、数万の領域ペアの効率的処理が可能となり、大規模なWSVRDが現実可能になった。
• 定性的な結果から、特に同じオブジェクトクラスが複数存在するシーンにおいて、VTransE-MILと比較して主語-目的語ペアの不一致が顕著に減少していることが示された。