[論文レビュー] QPIC: Query-Based Pairwise Human-Object Interaction Detection with Image-Wide Contextual Information

Masato Tamura, Hiroki Ohashi+1 more|arXiv (Cornell University)|Mar 9, 2021

Advanced Neural Network Applications参考文献 50被引用数 17

ひとこと要約

QPICは、自己注意を用いて画像全体の文脈的特徴を活用し、各HOIペアごとに専用クエリを設定することで、重複するインスタンスにおける特徴の汚染を回避する、クエリベースでトランスフォーマー駆動の人体対象相互作用（HOI）検出手法を提案する。この手法はSOTA性能を達成し、HICO-DETではmAPを5.37向上、V-COCOでは5.7向上した。

ABSTRACT

We propose a simple, intuitive yet powerful method for human-object interaction (HOI) detection. HOIs are so diverse in spatial distribution in an image that existing CNN-based methods face the following three major drawbacks; they cannot leverage image-wide features due to CNN's locality, they rely on a manually defined location-of-interest for the feature aggregation, which sometimes does not cover contextually important regions, and they cannot help but mix up the features for multiple HOI instances if they are located closely. To overcome these drawbacks, we propose a transformer-based feature extractor, in which an attention mechanism and query-based detection play key roles. The attention mechanism is effective in aggregating contextually important information image-wide, while the queries, which we design in such a way that each query captures at most one human-object pair, can avoid mixing up the features from multiple instances. This transformer-based feature extractor produces so effective embeddings that the subsequent detection heads may be fairly simple and intuitive. The extensive analysis reveals that the proposed method successfully extracts contextually important features, and thus outperforms existing methods by large margins (5.37 mAP on HICO-DET, and 5.7 mAP on V-COCO). The source codes are available at $\href{https://github.com/hitachi-rd-cv/qpic}{ ext{this https URL}}$.

研究の動機と目的

• 局所的受容野を持つCNNベースのHOI検出器がグローバルな文脈を活用できないという限界を解消する。
• 各相互作用ペアごとの特徴抽出を分離することで、重複するHOIインスタンスにおける特徴の汚染を克服する。
• 人間／対象が離れている場合や、ボクシングボックス外の文脈的手がかりが欠落している状況でも検出のロバスト性を向上させる。
• トランスフォーマーに基づくアーキテクチャから得られる強力で文脈に敏感な特徴を活用し、シンプルで効果的な検出ヘッドを設計する。
• 特にグローバルに分散された相互作用に対して、トランスフォーマーのデコーダーがHOI検出において不可欠であることを示す。

提案手法

• 自己注意を用いて画像全体の特徴を抽出するビジョントランスフォーマーのエンコーダーを採用し、文脈的に関連する領域の選択的集約を可能にする。
• 各クエリがたかだか1つの人体対象ペアに注目するように、インスタンス固有のクエリを設計し、複数の相互作用間での特徴の混合を防止する。
• 学習済みクエリを用いたトランスフォーマーのデコーダーを用い、特徴を精錬し、人間、対象、アクション予測のための検出ヘッドを生成する。
• 効率的で正確な相互作用予測のため、クエリベースの検出ヘッドとポイントマッチング機構を統合する。
• 特徴抽出にResNet-101バックボーンを用い、その後にトランスフォーマーのエンコーダ-デコーダースタックを配置して文脈的特徴の学習を実現する。
• 人間・対象・アクション分類およびボクシングボックス回帰のため、クロスエントロピー損失とボックス回帰損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 画像全体の注目を備えたトランスフォーマーに基づくアーキテクチャは、人体対象のボクシングボックスを超えた文脈を捉えることで、HOI検出を向上させ得るか？
• RQ2 インスタンス固有のクエリを用いたクエリベースの検出は、重複するHOIインスタンスにおける特徴の汚染を防止できるか？
• RQ3 標準的なCNNベースの特徴抽出器と比較して、トランスフォーマーのデコーダーはグローバルに分散された相互作用をどれほど効果的に捉えられるか？
• RQ4 提案手法は、標準ベンチマークにおいて、既存の2段階および1段階のHOI検出器をどの程度上回るか？
• RQ5 人間対象のボクシングボックス外に重要な文脈的手がかりがある場合、注目メカニズムは相互作用検出において果たす役割は何か？

主な発見

• QPICはHICO-DETで29.27 mAP、COCOで43.5 mAPを達成し、先行SOTA手法をそれぞれ5.37 mAPおよび5.7 mAP上回った。
• トランスフォーマーのデコーダーが性能向上に大きく寄与しており、エンコーダーありのバージョンではmAPが9.20向上、エンコーダーなしのバージョンでは7.86向上した。
• エンコーダーとデコーダーの両方を備えたモデルは、HICO-DETにおけるHOI検出で23.9％の物体検出と比較して45.8％の相対的改善を示し、グローバルな文脈に高い感受性を示していることがわかった。
• 定性的な分析から、QPICの注目マップが、遠く離れた相互作用における関連する文脈的手がかり（例：ホース）に的確に注目している一方で、不要な人間など干渉要因を無視していることが確認された。
• QPICは、中間点ベースの手法が失敗するような困難なケース（例：離れた人間／対象）や、特徴の汚染が一般的な重複インスタンスにおいても、相互作用を正常に検出できた。
• アブレーションスタディの結果、画像全体の注目とクエリベースの検出の組み合わせが不可欠であることが示され、いずれのコンponentを削除しても顕著な性能低下が生じた。