[論文レビュー] UnionDet: Union-Level Detector Towards Real-Time Human-Object Interaction Detection

Bumsoo Kim, Tae-Ho Choi+2 more|arXiv (Cornell University)|Dec 19, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、1段階的HOI検出フレームワークであるUnionDetを提案する。この手法は、新たなユニオンレベル検出器を用いて、事前に物体検出を経由せずに、人間-物体ペアの結合領域（ユニオン）を直接予測することで、後続の物体検出によるペアリングの必要性を排除する。ユニオンアングルラベル付け、ターゲットオブジェクト分類損失、フォアグラウンドフォーカル損失を導入することにより、UnionDetは、V-COCOおよびHICO-DETで最先端の手法を上回りつつ、相互作用予測の推論速度を4×–14×に高速化した。

ABSTRACT

Recent advances in deep neural networks have achieved significant progress in detecting individual objects from an image. However, object detection is not sufficient to fully understand a visual scene. Towards a deeper visual understanding, the interactions between objects, especially humans and objects are essential. Most prior works have obtained this information with a bottom-up approach, where the objects are first detected and the interactions are predicted sequentially by pairing the objects. This is a major bottleneck in HOI detection inference time. To tackle this problem, we propose UnionDet, a one-stage meta-architecture for HOI detection powered by a novel union-level detector that eliminates this additional inference stage by directly capturing the region of interaction. Our one-stage detector for human-object interaction shows a significant reduction in interaction prediction time 4x~14x while outperforming state-of-the-art methods on two public datasets: V-COCO and HICO-DET.

研究の動機と目的

• 順次的な物体検出と相互作用ペアリングを要する多段階的HOI検出器の非効率性を解消し、推論のボトル neck を軽減すること。
• 物体ペアの重い後処理推論を排除することで、リアルタイムなHOI検出を実現すること。
• 物体と相互作用を同時に検出できる統合的かつエンド・トゥ・エンドで学習可能な1段階アーキテクチャを構築すること。
• ヒューマン領域に偏る問題やIoUベースのマッチングの不正確さといった、ユニオンレベル検出の技術的課題を克服すること。
• 標準的な物体検出に追加する最小限の追加推論時間で、最先端の性能を達成すること。

提案手法

• 後処理によるペアリングに依存せず、人間とオブジェクトの結合領域（ユニオン）を直接回帰する新しいユニオンレベル検出器を提案する。
• ユニオンアングルラベル付けを導入し、ユニオンレベルのIoUマッチングに基づいてアングルを相互作用領域に割り当てる。これにより、局所化の正確性が向上する。
• 相互作用ペアにおけるオブジェクトクラスの区別をより良くするために、ターゲットオブジェクト分類損失（$\mathcal{L}^{cls}_{ij}$）を設計する。
• ユニオンフォアグラウンドフォーカル損失（FFL）を提案し、ユニオンレベルの信頼度に基づいて正例サンプルを再重み付けすることで、バックグラウンドバイアスを低減する。
• 標準的なIoUに代わるより頑健な指標を用いたユニオンマッチング関数（$\mu_u$）を定義し、アングルを相互作用領域にマッチングする。
• 既存の1段階的物体検出器と互換性のあるメタアーキテクチャ（UnionDet）にユニオン検出器を統合し、エンド・トゥ・エンド学習を可能にする。

Figure 1: Technical Challenges in Union Detection. (Left) The box with the highest confidence for the ground-truth action ’throw’ is highlighted in bold, and the region with the highest IoU with the ground-truth union region is dotted. As you can see, the highest confidence is biased towards the hum

実験結果

リサーチクエスチョン

• RQ1 分離されたペアリング段階に依存せずに、1段階的検出器が直接人間-オブジェクト相互作用領域を予測できるか？
• RQ2 ヒューマン領域へのバイアスや不正確なIoUベースのマッチングといった課題を、ユニオンレベル検出がどのように克服できるか？
• RQ3 ユニオンレベル検出の性能を安定化・向上させるために必要なトレーニング技術は何か？
• RQ4 ユニオンレベル検出器は、多段階的HOI検出器と比較して、どれほど推論時間を短縮できるか？
• RQ5 ユニオンレベル検出器は、リアルタイム推論速度を維持しながら、最先端の性能を達成できるか？

主な発見

• UnionDetは、物体検出後に40ms–130msを要するベースラインの多段階的HOI検出器と比較して、相互作用予測の推論速度を4×–14×に高速化した。
• 標準的な物体検出器に加えて、追加の推論時間をわずか9.06ms（11.7％）にまで短縮し、従来の手法を顕著に上回った。
• V-COCOデータセットでは、2つの評価シナリオでそれぞれ47.5％および56.2％の平均適合率を達成し、最先端の手法を上回った。
• HICO-DETでは、外部特徴を用いない「デフォルト」および「既知のオブジェクト」設定の両方で最先端の性能を達成した。
• アブレーションスタディの結果、ユニオンブランチ、ターゲットオブジェクト分類損失、ユニオンマッチング関数、フォアグラウンドフォーカル損失の各要素が、検出性能の向上に顕著に寄与していることが確認された。
• エンド・トゥ・エンドで学習可能であり、既存の1段階的物体検出器と互換性を持つため、リアルタイムのデプロイメントが可能である。

Figure 2: The overall architecture of UnionDet. Our UnionDet is generally compatible with one-stage object detectors. The feature pyramid obtained from the backbone network is simultaneously fed to Union Branch and Instance Branch. While Union Branch directly captures the region of interaction, Inst