[論文レビュー] End-to-End Human Object Interaction Detection with HOI Transformer

Cheng Zou, Bohan Wang+9 more|arXiv (Cornell University)|Mar 8, 2021

Multimodal Machine Learning Applications参考文献 39被引用数 5

ひとこと要約

本稿では、一括で (人間, 物体, 相互作用) トリプレットを予測するトランスフォーマーに基づくエンコーダデコーダアーキテクチャを用いた、エンドツーエンドのヒューマンオブジェクトインタラクション検出手法であるHOI Transformerを提案する。五重組合致損失を導入し、自己注意機構を用いてグローバルな文脈を活用することで、手作業で設計されたコンponent や複雑な後処理を排除しながら、HICO-DETで26.61%のAP、V-COCOで52.9%のAP_{role}を達成し、先行手法を上回る最先端の性能を発揮した。

ABSTRACT

We propose HOI Transformer to tackle human object interaction (HOI) detection in an end-to-end manner. Current approaches either decouple HOI task into separated stages of object detection and interaction classification or introduce surrogate interaction problem. In contrast, our method, named HOI Transformer, streamlines the HOI pipeline by eliminating the need for many hand-designed components. HOI Transformer reasons about the relations of objects and humans from global image context and directly predicts HOI instances in parallel. A quintuple matching loss is introduced to force HOI predictions in a unified way. Our method is conceptually much simpler and demonstrates improved accuracy. Without bells and whistles, HOI Transformer achieves $26.61\% $ $ AP $ on HICO-DET and $52.9\%$ $AP_{role}$ on V-COCO, surpassing previous methods with the advantage of being much simpler. We hope our approach will serve as a simple and effective alternative for HOI tasks. Code is available at https://github.com/bbepoch/HoiTransformer .

研究の動機と目的

• 分離されたオブジェクト検出とインタラクション分類の段階に依存する2段階型および代替ベースのHOI検出手法の限界を解消すること。
• 人間-物体の候補生成や複雑な後処理マッチング戦略といった手作業で設計されたコンponent の必要性を排除すること。
• 統一的でエンドツーエンドのフレームワーク内で自己注意機構を用いて、人間と物体間の長距離依存関係をモデル化すること。
• 統一された損失関数を通じて人間、物体、インタラクション予測を同時に最適化することで、インタラクション検出の精度を向上させること。
• より単純なアテンションベースのアーキテクチャが、より複雑なマルチステージパイプラインを凌駃することを示すこと。

提案手法

• CNNバックボーンが画像特徴を抽出し、エンコーダが画像全体の文脈を表すグローバルメモリ特徴を生成するトランスフォーマーのエンコーダデコーダアーキテクチャを採用する。
• デコーダはグローバルメモリとHOIクエリに注目し、各予測されたHOIトリプレット（人間、物体、インタラクション）の出力埋め込みを生成する。
• マルチレイヤーパーセプトロンヘッドが埋め込みをバウンディングボックス、ラベル、インタラクションカテゴリに変換する。
• 訓練中に予測されたトリプレットと真値トリプレットを1対1でマッチングすることで、完全なHOIインスタンスの予測を監視するための五重組合致損失を導入する。
• 推論時には並列デコードが用いられ、繰り返しマッチングを必要とせず、複数のHOIインスタンスを同時に出力できる。
• デコーダのアテンションマップを可視化し、モデルがインタラクション推論のために関連する人間および物体領域にどのように注目しているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのトランスフォーマーに基づくアーキテクチャは、2段階型または代替ベースの手法を上回る性能を発揮できるか？
• RQ2 完全なHOIトリプレットに対する統一された損失関数は、分離されたまたは代替の監視と比較して性能を向上させるか？
• RQ3 手作業で設計された候補に依存せずに、自己注意機構が人間と物体間の長距離依存関係を効果的にモデル化できるか？
• RQ4 レアまたは高密度なインタラクションパターンを示す分布外のシナリオにおいて、モデルはどれほど一般化できるか？
• RQ5 モデルのアテンション機構は、異なるインタラクションカテゴリに対して、判別的な特徴をどれほど効果的に捉えられるか？

主な発見

• HOI TransformerはHICO-DETベンチマークで26.61%のAPを達成し、追加の特徴量や複雑な後処理を用いないにもかかわらず、先行の最先端手法を上回った。
• V-COCOベンチマークでは52.9%のAP_{role}を達成し、インタラクションロール予測において強力な性能を示した。
• モデルは、トレーニングデータにあまり登場しない「ボトルで飲む」6つのインタラクションを含むような分布外のテストケースに対しても、良好に一般化した。
• デコーダのアテンションマップの可視化から、モデルがグローバルな画像文脈に注目し、同時に人間と物体の領域に注目することでインタラクションを推論していることがわかった。
• 同じ空間的レイアウトを共有する場合でも、モデルは異なるインタラクションカテゴリを区別できており、効果的な特徴学習が行われていることが示された。
• 後処理マッチングや人間のポーズやパーツ特徴といった補助コンponent の欠如が性能に悪影響を及えないことから、モデルの自己完結性が強調された。