[論文レビュー] Learning Human-Object Interaction Detection using Interaction Points

Tiancai Wang, Tong Yang+4 more|arXiv (Cornell University)|Mar 31, 2020

Multimodal Machine Learning Applications参考文献 53被引用数 35

ひとこと要約

本論文は完全畳み込みでアンカーなしのHOI検出器を提案し、相互作用のモデリングを相互作用点のキーポイント検出と人間/物体検出とのグルーピングによってHOIトリプレットを予測する方式として位置づける。

ABSTRACT

Understanding interactions between humans and objects is one of the fundamental problems in visual classification and an essential step towards detailed scene understanding. Human-object interaction (HOI) detection strives to localize both the human and an object as well as the identification of complex interactions between them. Most existing HOI detection approaches are instance-centric where interactions between all possible human-object pairs are predicted based on appearance features and coarse spatial information. We argue that appearance features alone are insufficient to capture complex human-object interactions. In this paper, we therefore propose a novel fully-convolutional approach that directly detects the interactions between human-object pairs. Our network predicts interaction points, which directly localize and classify the inter-action. Paired with the densely predicted interaction vectors, the interactions are associated with human and object detections to obtain final predictions. To the best of our knowledge, we are the first to propose an approach where HOI detection is posed as a keypoint detection and grouping problem. Experiments are performed on two popular benchmarks: V-COCO and HICO-DET. Our approach sets a new state-of-the-art on both datasets. Code is available at https://github.com/vaesl/IP-Net.

研究の動機と目的

• 多くの人間-物体ペアに対してスケールが悪い外観ベースのインスタンス中心のHOI検出アーキテクチャを超える必要性を動機づける。
• 相互作用点と相互作用ベクトルに基づく新しいHOI表現を導入し、相互作用を直接局在化・分類する。
• 相互作用点とベクトルを検出し、それらを検出された人間/物体とグルーピングしてHOIトリプレットを形成する完全畳み込みネットワークを開発する。
• 各コンポーネントを検証するアブレーションとともに、2つのベンチマーク（V-COCOとHICO-DET）で最先端の性能を示す。

提案手法

• HOI検出をアンカーなしオブジェクト検出に触発されたキーポイント検出とグルーピングの問題として位置づける。
• Hourglassバックボーンを用いて特徴を抽出し、2つの平行ブランチ（相互作用点のヒートマップと符号なし相互作用ベクトルマップ）を生成する。
• ガウス supervisionで相互作用点ヒートマップを学習させ、陽性/陰性のバランスを取るためにフォーカル風損失を用いる。
• 相互作用ベクトルを学習して、人間/物体中心へ向かう絶対的な水平/垂直長を予測する（符号なしベクトル）。
• 推論時にはトップkの相互作用点を抽出し、相互作用ベクトルを復元して相互作用ボックスを形成する。
• 人間/物体ボックスと相互作用点を、IoUと基準ボックスとのコーナー距離をチェックするソフト制約方式でグルーピングする。

実験結果

リサーチクエスチョン

• RQ1 HOI検出は、多モーダルでインスタンス中心のパイプラインではなく、キーポイント検出とグルーピングの問題として効果的に定式化できるか。
• RQ2 相互作用点とベクトルは、従来のマルチストリーム手法と比較してHOIの局在化と分類を改善するか。
• RQ3 提案された相互作用グルーピングと補助コンポーネント（角度フィルター、距離比フィルター、センタープール）がHOI検出性能に与える影響は何か？
• RQ4 提案手法とコンポーネントは標準的なHOIベンチマーク（V-COCO、HICO-DET）でスケーラブルで効果的か？

主な発見

• 提案されたIP-NetはV-COCOで最先端のmAP_roleを達成（HICO-DETの事前学習なしで51.0、HICO-DETの事前学習ありで52.3）し、DefaultおよびKnown Object設定の両方でHICO-DETでも同様の性能を示す。
• アブレーション研究は、相互作用ボックスとコーナー距離制約を伴う相互作用グルーピング方式が性能を大幅に向上させる（例：V-COCOで46.2から50.5へ、51.0 mAP_roleへ）。
• センタープールと2つのブランチによる相互作用生成（点ヒートマップと符号なしベクトル）はベースラインより測定可能な利得を提供し、基準値より合計で絶対的に11.4ポイント改善。
• 本手法は、理論上は二次的に見えるが、ヒートマップとソフト制約によるフィルタリングのおかげで、実践的にはほぼ線形の複雑さで効率的なグルーピングを維持する（<5 ms）。
• 相互作用スコアの動的閾値設定は、固定閾値と比べてHICO-DETにおける希少クラスと非希少クラスの性能を向上させる。