[論文レビュー] Detecting and Recognizing Human-Object Interactions

Georgia Gkioxari, Ross Girshick+2 more|arXiv (Cornell University)|Apr 24, 2017

Multimodal Machine Learning Applications参考文献 28被引用数 60

ひとこと要約

本論文は InteractNet を紹介する。Faster R-CNN ベースのモデルで、人間中心のブランチがアクション固有のターゲットオブジェクトの位置を予測して、画像中の <human, verb, object> トリプレットを検出・認識する。V-COCO での AP_role を最先端にし、HICO-DET でも効率的なエンドツーエンド学習で高い性能を達成している。

ABSTRACT

To understand the visual world, a machine must not only recognize individual object instances but also how they interact. Humans are often at the center of such interactions and detecting human-object interactions is an important practical and scientific problem. In this paper, we address the task of detecting triplets in challenging everyday photos. We propose a novel model that is driven by a human-centric approach. Our hypothesis is that the appearance of a person -- their pose, clothing, action -- is a powerful cue for localizing the objects they are interacting with. To exploit this cue, our model learns to predict an action-specific density over target object locations based on the appearance of a detected person. Our model also jointly learns to detect people and objects, and by fusing these predictions it efficiently infers interaction triplets in a clean, jointly trained end-to-end system we call InteractNet. We validate our approach on the recently introduced Verbs in COCO (V-COCO) and HICO-DET datasets, where we show quantitatively compelling results.

研究の動機と目的

• 実世界の画像における <human, verb, object> トリプレットとして、人間-物体相互作用認識を動機づけ、取り組む。
• 人間の外観（ポーズ、動作）を活用して、ターゲットオブジェクトの可能性のある位置を予測し、探索空間を削減する。
• 人間中心のアクション手がかりを標準の物体検出およびペアワイズ相互作用推論と統合する、エンドツーエンドのシステムを共同訓練する。
• V-COCO および HICO-DET データセットで有効性を示し、実用的な推論速度を達成する。

提案手法

• Faster R-CNN を拡張し、アクションを分類し、アクションごとにターゲットオブジェクトの位置密度を予測する人間中心ブランチを追加する。
• ターゲットオブジェクトの位置を、人間の外観とアクションに条件づけられた 4 次元ガウス平均 μ_h^a としてモデル化し、g_h,o^a を b_o と μ_h^a を組み合わせる尤度項として用いる。
• トリプレットスコア S_h,o^a = s_h · s_o · s_h^a · g_h,o^a を計算し、階層的推論を行って O(n) の実行時間を維持する。
• 任意で、s_h^a を人間と物体の外観を組み合わせてアクションスコアリングを行う相互作用ブランチ s_{h,o}^a に置き換える。
• 物体検出、アクション分類、ターゲット局在の損失を含む多タスク目的関数として、すべてのブランチを共同訓練する。
• 推論では、検出された各人間とアクションについて、s_o · s_{h,o}^a · g_h,o^a を最大化するオブジェクトを同定し、<human, verb, object> を形成する。

実験結果

リサーチクエスチョン

• RQ1 人間中心の手掛かりは、人間の行動に関与するターゲットオブジェクトの局在化を改善し、それによってトリプレット検出の精度を向上させることができるか。
• RQ2 物体検出、アクション分類、ターゲット局在を同一のエンドツーエンドフレームワークで共同訓練することは、相互作用認識の性能を向上させるか。
• RQ3 提案されたターゲット局在密度（単峰型 vs. 多峰型）が、さまざまなアクションの検出精度にどう影響するか。
• RQ4 アクションスコアを人間とオブジェクトの両方の外観に条件付けする任意の相互作用ブランチの効果はどうか。

主な発見

モデル	AP_agent (19 actions)	AP_agent (all actions)	AP_role (19 actions)	AP_role (all actions)
baseline [13] (Res50-FPN reimplementation)	62.1	?	31.0	?
InteractNet w/o target localization	65.1	?	31.9	?
InteractNet w/o interaction branch	65.5	?	36.8	?
InteractNet (full)	68.0	?	37.5	?

• InterActNet は V-COCO テストで全アクションの AP_role が 40.0 を達成し、強力なベースライン（31.8）に対して絶対値で 8.2 ポイント改善した。
• InterActNet は V-COCO でベースラインに対して相対的に AP_role を 26% 向上させた（31.8 から 40.0 へ）。
• HICO-DET データセットでは、InterActNet が従来アプローチを約 27% の相対改善で上回る。
• アブレーション結果は、ターゲット局在化が性能の主要な要因であることを示している。これを除去すると AP_role は 31.9（37.5 から）に低下する。
• 本手法は Nvidia M40 GPU 一つで画像あたり約 135 ms の速度で動作し、実用的な効率を示す。
• FPN バックボーンの使用は、特に小さな物体に対して、素の ResNet-50 より性能を大幅に向上させる。