[論文レビュー] Pose-based Modular Network for Human-Object Interaction Detection

Zhijun Liang, Junfa Liu+2 more|arXiv (Cornell University)|Aug 5, 2020

Multimodal Machine Learning Applications参考文献 37被引用数 9

ひとこと要約

本稿では、相対的な空間的ポーズ特徴（関節〜オブジェクトのオフセット）と絶対的ポーズ特徴（正規化されたキーポイント座標）の両方を活用することで、人間-オブジェクトインタラクション（HOI）検出を向上させるポーズベースのモジュラーネットワーク（PMN）を提案する。このモジュールは、空間的および内在的ポーズモデリングのための別々のブランチを備え、特徴の精錬にグラフ畳み込みを用いる。VS-GATsと組み合わせた際、V-COCOでmAPを2.0向上、HICO-DETのカテゴリで0.98〜1.57向上させ、最先端性能を達成する。

ABSTRACT

Human-object interaction(HOI) detection is a critical task in scene understanding. The goal is to infer the triplet in a scene. In this work, we note that the human pose itself as well as the relative spatial information of the human pose with respect to the target object can provide informative cues for HOI detection. We contribute a Pose-based Modular Network (PMN) which explores the absolute pose features and relative spatial pose features to improve HOI detection and is fully compatible with existing networks. Our module consists of a branch that first processes the relative spatial pose features of each joint independently. Another branch updates the absolute pose features via fully connected graph structures. The processed pose features are then fed into an action classifier. To evaluate our proposed method, we combine the module with the state-of-the-art model named VS-GATs and obtain significant improvement on two public benchmarks: V-COCO and HICO-DET, which shows its efficacy and flexibility. Code is available at \url{https://github.com/birlrobotics/PMN}.

研究の動機と目的

• 基本的な視覚的および空間的特徴を超えた、詳細な人間のポーズの手がかりを組み込むことで、人間-オブジェクトインタラクション（HOI）検出を向上させること。
• 複数の人物とオブジェクトが密接に接近する混雑したシーンにおいて、誤検出（false positives）を低減する課題に対処すること。
• 既存のHOI検出モデルのアーキテクチャを大幅に見直さずに、統合可能なモジュラーデザインのコンponentsを設計すること。
• 人間の関節とオブジェクトの間の空間的関係と、内在的ポーズ構成の両者が、HOI推論に果たす相対的な貢献度を調査すること。

提案手法

• 相対的な空間的ポーズ特徴を、各人のキーポイントとターゲットオブジェクトのバウンディングボックス中心とのオフセットとして定義する。
• 絶対的ポーズ特徴は、人間自身のバウンディングボックスに対する相対的なキーポイント座標として定義し、内在的ポーズ構成を捉える。
• 各関節ごとに独立して、全結合層を用いて相対的な空間的ポーズ特徴を処理する専用ブランチを構築する。
• もう一つのブランチでは、関節間の関係をモデル化する完全結合グラフ構造を用い、グラフ畳み込みネットワーク（GCNs）を適用して絶対的ポーズ特徴を更新する。
• 両ブランチからの特徴を統合し、トリプレット予測用のアクション分類器に供給する。
• PMNモジュールはプラグアンドプレイ可能であり、VS-GATsなどの既存のHOIモデルと互換性があり、エンドツーエンド学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 人間の関節とオブジェクトの間の相対的な空間的ポーズ特徴は、複雑なシーンにおけるHOI検出精度を向上させることができるか？
• RQ2 内在的ポーズ構成を表す絶対的ポーズ特徴は、インタラクション行動の区別にどの程度貢献するか？
• RQ3 ポーズの手がかり統合により、複数の相互作用エージェントが存在する混雑したシーンにおける誤検出はどの程度低減されるか？
• RQ4 提案されたモジュラーデザインは、再訓練を必要とせずに最先端のHOI検出モデルを効果的に向上させることができるか？

主な発見

• PMNモジュールは、V-COCOベンチマークでSOTAのVS-GATsモデルをmAP +2.0（4.0%）向上させ、51.8 mAPを達成した。
• より困難なHICO-DETデータセットでは、FullセットでVS-GATsを0.98 mAP（4.6%）向上、Rareセットで1.57 mAP（9.8%）向上、Non-Rareセットで0.75 mAP（3.5%）向上させた。
• アブレーションスタディの結果、相対的な空間的特徴と絶対的ポーズ特徴の両方が肯定的な寄与をしていることが確認され、特に相対的特徴の影響が強いことが示された。
• PMNは混雑したシーンにおける誤検出を顕著に低減しており、VS-GATsとの定性的比較でその効果が明確に示された。
• 単純なMLPを用いた「ノーフリーズポーズネットワーク（NFPN）」ベースラインはVS-GATsを向上させるが、PMNに劣っており、グラフベースの特徴学習の利点を示している。
• 提案されたモジュールは既存のHOIモデルと完全に互換性があり、プラグアンドプレイ統合が可能で、一貫した性能向上を実現している。