[論文レビュー] GTNet:Guided Transformer Network for Detecting Human-Object Interactions

Adnan Iftekhar, Satish Kumar+3 more|arXiv (Cornell University)|Aug 2, 2021

Multimodal Machine Learning Applications参考文献 60被引用数 4

ひとこと要約

GTNetは、相対的な空間的配置とオブジェクトの意味情報を融合して自己注意メカニズムをガイドするガイド付きTransformerネットワークを提案する。これにより、V-COCO（58.29 mAP）およびHICO-DETデータセットで最先端の性能を達成し、文脈特徴の符号化が向上する。

ABSTRACT

The human-object interaction (HOI) detection task refers to localizing humans, localizing objects, and predicting the interactions between each human-object pair. HOI is considered one of the fundamental steps in truly understanding complex visual scenes. For detecting HOI, it is important to utilize relative spatial configurations and object semantics to find salient spatial regions of images that highlight the interactions between human object pairs. This issue is addressed by the novel self-attention based guided transformer network, GTNet. GTNet encodes this spatial contextual information in human and object visual features via self-attention while achieving state of the art results on both the V-COCO and HICO-DET datasets. Code will be made available online.

研究の動機と目的

• 空間的文脈とオブジェクトの意味を効果的に活用することで、人間-オブジェクトインタラクション検出を向上させること。
• 既存の手法がHOI予測のための関連する空間的文脈を符号化する点で制限を抱えているという問題を解決すること。
• Transformerの自己注意を視覚的関係検出に向けた強化を図る、新たなガイドメカニズムを構築すること。
• 標準的なHOIベンチマークデータセット、V-COCOおよびHICO-DETで最先端の性能を達成すること。

提案手法

• GTNetは、入力画像および人間/オブジェクトのバウンディングボックスから視覚的特徴を抽出するバックボーンネットワークを使用する。
• ガイドモジュールは、相対的な空間的配置とオブジェクトの意味（単語埋め込みを介して）を組み合わせ、注意のクエリベクトルを生成する。
• TXモジュールは、ガイドされたクエリを用いて、Transformerベースの自己注意メカニズムを適用し、視覚的特徴に空間的文脈を強化する。
• ネットワークは、特徴を統合して相互作用を予測するために、エアリー融合戦略を採用する。
• ガイドメカニズムは、空間的および意味的特徴の連結または要素ごとの積を用いて、注意クエリを精緻化する。
• 64×64の学習可能な空間マップを用いて相対的な空間的配置を符号化し、1×1畳み込みにより512チャンネルのキーと値を生成することで、最適なパフォーマンスを達成する。

Figure 1: GTNet’s performance with and without its guidance mechanism. Blue indicates GTNet’s predictions with the guidance mechanism; red indicates without. Green bounding boxes indicate the human under consideration; yellow boxes indicate the object. Left column: Simple Scenarios (higher confidenc

実験結果

リサーチクエスチョン

• RQ1 空間的および意味的文脈をより効果的に符号化することで、ガイド付き自己注意がHOI検出を向上させられるか？
• RQ2 オブジェクトの意味と相対的な空間的レイアウトを組み合わせることで、HOIタスクにおける注意ベースの特徴精錬にどのような影響を与えるか？
• RQ3 特化したガイドメカニズムは、相互作用の顕著な空間的文脈を捉えるために、標準的な注意メカニズムを上回るか？
• RQ4 ガイドメカニズムのための空間マップサイズと特徴次元の最適な設定は何か？

主な発見

• GTNetはV-COCOテストセットで58.29 mAPの平均平均精度を達成し、新たな最先端性能を樹立した。
• ガイドメカニズムを組み込むことで6 mAP以上向上し、性能向上におけるその重要性を示した。
• 意味的ガイドのみが空間的ガイドを上回る結果を示し、オブジェクトのカテゴリ情報が空間的レイアウト単体よりも効果的であることを示した。
• 要素ごとの積を用いたガイドが連結よりも優れた結果（58.29 mAP）を示し、クエリの精緻化が向上したことを示した。
• キーと値のチャネル数（最大512）および空間マップサイズ（最大64×64）を増加させることで性能が向上し、GPUメモリ制約を考慮して64×64と512チャンネルが選択された。
• 定性的な結果から、GTNetは複雑なシーンにおいても正しく相互作用を特定できており、クラスアクティビティマップが関連する空間的文脈を明確に示している。

Figure 2: Model Overview. We extract human and object feature vectors from the input feature map, $\mathbf{F}$ via two RRG operations. For clarity we do not explicitly show two separate RRG operations. Human and object features are used to generate a query vector, $\mathbf{f}_{Q}$ . Before feeding $