[論文レビュー] Interact as You Intend: Intention-Driven Human-Object Interaction Detection

Bingjie Xu, Junnan Li+3 more|arXiv (Cornell University)|Aug 29, 2018

Multimodal Machine Learning Applications参考文献 46被引用数 16

ひとこと要約

本論文では、人間の注視とボディポーズを活用して検出精度を向上させる、意図駆動型の新しいフレームワークiHOIを提案する。注視誘導の文脈的領域とオブジェクトに対する相対的関節距離をモデル化し、ハードネガティブな三重項マイニング戦略を用いることで、iHOIはV-COCOおよびHICO-DETで最先端の性能を達成した。特に、注視とポーズを共同でモデル化した場合、V-COCOで+4.28 mAPの向上を達成した。

ABSTRACT

The recent advances in instance-level detection tasks lay strong foundation for genuine comprehension of the visual scenes. However, the ability to fully comprehend a social scene is still in its preliminary stage. In this work, we focus on detecting human-object interactions (HOIs) in social scene images, which is demanding in terms of research and increasingly useful for practical applications. To undertake social tasks interacting with objects, humans direct their attention and move their body based on their intention. Based on this observation, we provide a unique computational perspective to explore human intention in HOI detection. Specifically, the proposed human intention-driven HOI detection (iHOI) framework models human pose with the relative distances from body joints to the object instances. It also utilizes human gaze to guide the attended contextual regions in a weakly-supervised setting. In addition, we propose a hard negative sampling strategy to address the problem of mis-grouping. We perform extensive experiments on two benchmark datasets, namely V-COCO and HICO-DET. The efficacy of each proposed component has also been validated.

研究の動機と目的

• 注視やボディポーズといった観察可能な視覚的特徴を用いて、人間の意図をモデル化することで、人間-オブジェクトインタラクション（HOI）検出を向上させること。
• 誤分類のリスクを低減するため、ハードネガティブな三重項マイニング戦略を導入して、HOI検出における誤グループ化の課題に対処すること。
• 人間の注視によって誘導される文脈的に関連する領域を活用することで、検出のロバスト性と正確性を向上させること。
• 意図に配慮した視覚的推論をインスタンスレベルのHOI検出に統合する計算フレームワークを提供すること。
• 意図モデル化が、正しく予測された信頼度の向上と誤検出の抑制にどのように寄与するかを検証すること。

提案手法

• フレームワークは、注視誘導の注目領域の選択と、ポーズに基づく意図を符号化する相対的関節-オブジェクト距離の2つの主要な要素を用いて、人間の意図をモデル化する。
• 弱教師あり設定を採用し、注視予測を活用。注視ヒートマップに基づいて、シーン内から上位5つの関連性の高い領域を動的に選択する。
• ボディポーズは、人間の関節からオブジェクトインスタンスまでの相対的距離として符号化され、意図を示す空間的関係を捉える。
• 本研究で新たに提案するハードネガティブな三重項マイニング戦略は、誤ってグループ化されたHOI候補に焦点を当て、曖昧または分類が難しい三重項を特定する。
• モデルはV-COCOおよびHICO-DET上でエンドツーエンドに訓練され、HOI三重項分類と意図モデル化の両方を共同で最適化する。
• フレームワークは、人間とオブジェクトの特徴を処理する二重ストリームアーキテクチャを採用し、クロスアテンション機構を用いて意図の兆候とインタラクション予測を一致させる。

Figure 1 : An example where the actor’s intention is informative of the HOI $\langle\mathsf{person},\mathsf{hold},\mathsf{cup}\rangle$ . The intention is represented using the attended regions and body pose. Specifically, he is fixating at the regions around the cup that he is interacting with, and

実験結果

リサーチクエスチョン

• RQ1 注視とボディポーズは、HOI検出における意図モデル化に有用な信頼性があり、計算的に利用可能な特徴として適しているだろうか？
• RQ2 意図モデル化を統合することで、複雑な社会的状況下でのHOI検出の正確性とロバスト性はどのように向上するのか？
• RQ3 注視誘導の文脈的領域選択は、グローバルなシーン特徴と比較して、検出性能にどの程度の向上効果をもたらすのか？
• RQ4 誤ってグループ化されるリスクに基づくハードネガティブな三重項マイニングは、一般化性能の向上とHOI予測における幻覚の低減に寄与するだろうか？
• RQ5 意図モデル化により、曖昧な行動や誤ったオブジェクト位置特定に起因する誤検出（偽陽性）は抑制できるだろうか？

主な発見

• 注視とポーズを共同でモデル化することで、ベースラインのVTransE-HOモデルと比較して、V-COCOで+4.28 mAP、HICO-DETで+1.42 mAPの向上を達成した。
• 上位5つの注視誘導の文脈的領域を用いることで最適な性能が得られ、注視の誤差やノイズに対するロバスト性とノイズ低減の両立が達成された。
• 相対的関節-オブジェクト距離の組み込みにより、座標ベースのポーズ符号化と比較して、V-COCOで+0.80 mAP、HICO-DETで+0.53 mAPの向上が得られた。
• 提案されたハードネガティブな三重項マイニング戦略により、マイニングなしの場合と比較して、V-COCOでのmAP低下が3.42ポイント減少し、インタラクションの幻覚を顕著に抑制した。
• 定性的な結果から、意図モデル化が偽陽性を効果的に抑制することが示された。例えば、ポーズと注視がターゲットオブジェクトと一致しない場合、「蹴る」という行動を除外した。
• 注視とポーズの両方が行動と矛盾する場合、例として「他人のケーキを食べる」といった誤った三重項を、モデルが正しく拒否した。

Figure 2 : The proposed iHOI takes an image as input for feature extraction and human intention-driven interaction prediction, and outputs the detected triplets. Human intention is modelled as follows: 1) the pose information is incorporated with the distances from body joints to the instance center