[論文レビュー] Efficient Two-Stage Detection of Human-Object Interactions with a Novel Unary-Pairwise Transformer

Frederic Z. Zhang, Dylan Campbell+1 more|arXiv (Cornell University)|Dec 3, 2021

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、個々のインスタンス（ユニタリ）とそれらの相互作用（ペairワイズ）を別々に符号化するユニタリ・ペアワイズトランスフォーマーを用いた、新しい二段階型Human-Object Interaction (HOI) 検出モデルを提案する。HICO-DETおよびV-COCOで最先端の性能を達成し、1つのGPUで高速な学習、低メモリ使用量、リアルタイム推論を実現した。1段階型検出器に比べて軽量な学習パラダイムを採用しているが、依然として優れた性能を発揮している。

ABSTRACT

Recent developments in transformer models for visual data have led to significant improvements in recognition and detection tasks. In particular, using learnable queries in place of region proposals has given rise to a new class of one-stage detection models, spearheaded by the Detection Transformer (DETR). Variations on this one-stage approach have since dominated human-object interaction (HOI) detection. However, the success of such one-stage HOI detectors can largely be attributed to the representation power of transformers. We discovered that when equipped with the same transformer, their two-stage counterparts can be more performant and memory-efficient, while taking a fraction of the time to train. In this work, we propose the Unary-Pairwise Transformer, a two-stage detector that exploits unary and pairwise representations for HOIs. We observe that the unary and pairwise parts of our transformer network specialise, with the former preferentially increasing the scores of positive examples and the latter decreasing the scores of negative examples. We evaluate our method on the HICO-DET and V-COCO datasets, and significantly outperform state-of-the-art approaches. At inference time, our model with ResNet50 approaches real-time performance on a single GPU.

研究の動機と目的

• 大規模なトランスフォーマー・デコーダーに大きく依存する1段階型HOI検出器の非効率さと高いメモリコストを是正すること。
• DETRのような現代的なバックボーンを搭載した二段階型HOI検出器が、1段階型モデルに比べて精度と効率の両面で優れているかどうかを調査すること。
• より良いHOI検出を実現するために、補完的なユニタリおよびペアワイズ表現を活用する新しいトランスフォーマー・アーキテクチャを設計すること。
• トランスフォーマー内のユニタリおよびペアワイズ層における注意メカニズムの役割を分析し、陽性予測の向上と誤検出の抑制に寄与する仕組みを解明すること。
• 固定されたオブジェクト検出器の重みを用いた二段階設計が、精度を損なわず、より高速で、よりメモリ効率の良い学習を可能にすることを実証すること。

提案手法

• モデルは二段階パイプラインを採用する：まずDETRバックボーンが人間およびオブジェクトのインスタンスを検出し、次に新規のユニタリ・ペアワイズトランスフォーマーがそれらの特徴を処理する。
• ユニタリトークンは個々の人物およびオブジェクトインスタンスを表し、このストリーム内での自己注意機構が陽性HOIペアのスコアを向上させる。
• ペアワイズトークンはすべての人間-オブジェクトペアを表し、これらのトークン間での自己注意機構が誤検出を低減するためのソフトな非最大抑制（NMS）として機能する。
• 訓練と評価の不一致を解消するため、二部マッチング損失を採用し、1段階型検出器にありがちな問題を回避する。
• 注意マップを可視化し、アブレーション実験を実施することで、ユニタリ注意が陽性ペアのスコアを向上させ、ペアワイズ注意が負のペアを抑制することを検証した。
• 事前学習済みDETR重みを用い、相互作用ヘッドのみを微調整することで、計算コストと環境への影響を低減した。

実験結果

リサーチクエスチョン

• RQ1 現代のトランスフォーマー・バックボーンを搭載した二段階型HOI検出器は、最先端の1段階型検出器に比べて、精度と効率の両面で優れているか？
• RQ2 トランスフォーマーにおけるユニタリおよびペアワイズ注意機構は、HOI検出性能にどのように異なる寄与をしているか？
• RQ3 ユニタリストリーム内の注意機構が、陽性人間-オブジェクト相互作用ペアのスコアをどの程度向上させているか？
• RQ4 ペアワイズストリーム内の注意機構は、どのようにして負のペアを抑制するソフトな非最大抑制メカニズムとして機能しているか？
• RQ5 オブジェクト検出器を相互作用ヘッドから分離することで、精度を損なわず、より高速で、よりメモリ効率の良い学習が可能になるか？

主な発見

• 提案された二段階モデルは、ResNet-50を用いてHICO-DETで31.66 mAP、ResNet-101を用いて32.31 mAPを達成し、最先端の1段階型検出器を顕著に上回った。
• 1つのGPUでもリアルタイム推論速度を達成し、高い精度にもかかわらず、強力な効率性を示した。
• アブレーションスタディの結果、陽性ユニタリペア間の注意を無効化すると、相互作用スコアが8%低下し、これが真陽性の向上に寄与していることが確認された。
• 負のペアから支配的である陽性ペアへの注意をゼロにすると、そのスコアが11%低下し、競合層の抑制挙動が正当化された。
• 同じトランスフォーマー・バックボーンを使用しても、1段階型検出器よりも著しく高速に学習され、より少ないメモリを消費した。
• 遮蔽や低データ環境下では性能が低下し、珍しいまたは曖昧な行動への一般化能力に限界があることが明らかになった。