[論文レビュー] HOI Analysis: Integrating and Decomposing Human-Object Interaction

Yong–Lu Li, Xinpeng Liu+3 more|arXiv (Cornell University)|Oct 30, 2020

Multimodal Machine Learning Applications参考文献 52被引用数 64

ひとこと要約

HOI Analysis with an Integration-Decomposition Network (IDN) による HOI の解析を提案。変換関数空間で動詞を人間と物体の特徴を分解・統合することで表現し、ベンチマークで最先端の HOI 検出を達成します。

ABSTRACT

Human-Object Interaction (HOI) consists of human, object and implicit interaction/verb. Different from previous methods that directly map pixels to HOI semantics, we propose a novel perspective for HOI learning in an analytical manner. In analogy to Harmonic Analysis, whose goal is to study how to represent the signals with the superposition of basic waves, we propose the HOI Analysis. We argue that coherent HOI can be decomposed into isolated human and object. Meanwhile, isolated human and object can also be integrated into coherent HOI again. Moreover, transformations between human-object pairs with the same HOI can also be easier approached with integration and decomposition. As a result, the implicit verb will be represented in the transformation function space. In light of this, we propose an Integration-Decomposition Network (IDN) to implement the above transformations and achieve state-of-the-art performance on widely-used HOI detection benchmarks. Code is available at https://github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/IDN-(Integrating-Decomposing-Network).

研究の動機と目的

• HOI の pixel-to-semantics マッピングを超える内部構造を分析して新しい視点を提案する。
• 人間と物体の特徴を統合・分解する潜在空間変換フレームワークを提案し、動詞をエンコードする。
• 動詞を変換関数空間で学習し、対間の変換と希少な HOI の扱いを改善する。
• 標準ベンチマークでの最先端の HOI 検出性能を示し、ディテクタの変動に対する頑健性を示す。

提案手法

• HOI を孤立した人間/物体特徴と一貫した HOI 埋め込みとの変換として表現する。
• 特徴を圧縮するオートエンコーダを用い、動詞特異の統合 T_I(·) と分解 T_D(·) の写像を学習する。
• 同じ HOI 内の類似した人間/物体の实例を交換して対間変換をモデル化し、動作転送なしに動詞空間を学習する。
• 統合有効性、分解有効性、相互作用有効性を変換空間で課題として訓練する。
• 動詞特異の統合特徴への距離を比較し、複数の動詞信号を組み合わせることで HOI を検出するために統合と分解を適用する。
• すべての変換を潜在空間で動作させ、複数の動詞の学習を効率的・並列化可能にする。

実験結果

リサーチクエスチョン

• RQ1 HOI を孤立要素と全体の相互作用との構造化変換としてどう表現できるか。
• RQ2 潜在空間での統合と分解は pixel-to-verb マッピングより動詞の意味をよりうまく捉えられるか。
• RQ3 HOI ペア間で類似实例を交換することで共有動詞表現を明らかにし、希少 HOI の学習を改善できるか。
• RQ4 動詞表現を変換関数空間で効果的に学習し、頑健な HOI 検出に活用できるか。

主な発見

データセット / 設定	検出器	全体	希少	非希少
HICO-DET Default COCO (IDN)	COCO	23.36	22.47	23.63
HICO-DET Default COCO Known Object (IDN)	COCO	26.43	25.01	26.85
HICO-DET GT Boxes (IDN)	GT	43.98	40.27	45.09
V-COCO S1 (IDN)	N/A	53.3
V-COCO S2 (IDN)	N/A	60.3

• IDN は COCO デ detector を用いた HICO-DET で最先端の結果を達成し、Default Full セットで 23.36 mAP を達成。
• IDN は HICO-DET でデテクタを微調整した場合、Default Full で 26.29 mAP へ大幅な改善。
• GT ボックス上では prior 手法を大きく上回り、HICO-DET の Full で 43.98 mAP。
• V-COCO Scenario 1 で 53.3 AP_role、Scenario 2 で 60.3 AP_role を達成し、従来手法を上回る。
• アブレーション研究により、統合、分解、IPT、AE の各要素が性能向上に寄与することを示した。
• 方法は 1 台の GPU で 10.04 FPS の計算効率とスケーラビリティを示す。