[論文レビュー] Transferable Interactiveness Prior for Human-Object Interaction Detection.

Yong–Lu Li, Siyuan Zhou+6 more|arXiv (Cornell University)|Nov 20, 2018

Multimodal Machine Learning Applications参考文献 27被引用数 37

ひとこと要約

本稿では、異なるデータセット間で一般化可能な相互作用パターンを学習することにより、Human-Object Interaction (HOI) 検出の性能を向上させるために、転送可能な相互作用プライアを導入する。推論時に非相互作用を抑圧するための相互作用ネットワークを用い、HICO-DET および V-COCO で最先端の結果を達成する。

ABSTRACT

Human-Object Interaction (HOI) Detection is an important problem to understand how humans interact with objects. In this paper, we explore extbf{Interactiveness Prior} which indicates whether human and object interact with each other or not. We found that interactiveness prior can be learned across HOI datasets, regardless of HOI category settings. Our core idea is to exploit an Interactiveness Network to learn the general interactiveness prior from multiple HOI datasets and perform Non-Interaction Suppression before HOI classification in inference. On account of the generalization of interactiveness prior, interactiveness network is a transferable knowledge learner and can be cooperated with any HOI detection models to achieve desirable results. We extensively evaluate the proposed method on HICO-DET and V-COCO datasets. Our framework outperforms state-of-the-art HOI detection results by a great margin, verifying its efficacy and flexibility. Source codes and models will be made publicly available.

研究の動機と目的

• 多様で複雑な視覚的シーンにおける人間-オブジェクト相互作用の検出という課題に対処すること。
• 特定の HOI カテゴリに依存せずに、人間とオブジェクトが相互作用しているかどうかを捉える一般化された相互作用プライアを学習すること。
• このプライアを異なる HOI データセットおよび検出モデル間で転送可能にする。
• 推論時に非相互作用的な人間-オブジェクトペアを抑圧することで、HOI 検出の性能を向上させること。

提案手法

• 複数の HOI データセットで相互作用の可能性に関する一般表現を学習するため、相互作用ネットワークを訓練する。
• 学習された相互作用プライアを用いて、最終的な HOI 分類の前に非相互作用的な人間-オブジェクトペアを抑圧する。
• 任意の既存の HOI 検出モデルに統合可能なプラグインモジュールとして相互作用ネットワークを統合する。
• 複数のデータセットからの監視を活用して、相互作用プライアの一般化性能を向上させる。
• 予測された相互作用スコアを用いて、推論時に非相互作用を抑圧する。
• 本手法がさまざまな HOI 検出アーキテクチャと柔軟かつ互換性を持つようにする。

実験結果

リサーチクエスチョン

• RQ1 相互作用プライアは、異なる HOI データセット間で効果的に学習され、転送可能か？
• RQ2 一般化された相互作用プライアを学習することで、ゼロショットまたはフェイワショット設定での HOI 検出性能が向上するか？
• RQ3 相互作用プライアは、多様な HOI 検出モデルに普遍的な抑圧機構として利用可能か？
• RQ4 提案手法は、ベンチマーク HOI データセットにおいて、最先端の手法と比較してどのように優れているか？

主な発見

• 提案手法は、HICO-DET および V-COCO データセットの両方で最先端の性能を達成した。
• 相互作用プライアは、異なる HOI データセット間で良好に一般化され、カテゴリ設定が異なる場合でも有効であった。
• 相互作用ネットワークは、複数の HOI 検出モデルで性能を向上させる転送可能な知識学習者として機能した。
• 学習されたプライアを用いた非相互作用抑圧により、誤検出をフィルタリングすることで検出精度が顕著に向上した。
• 本手法は、既存の HOI 検出フレームワークと強い柔軟性と互換性を示した。
• ソースコードおよびトレーニング済みモデルを公開し、再現性およびさらなる研究を支援する。