[論文レビュー] GEN-VLKT: Simplify Association and Enhance Interaction Understanding for HOI Detection

Yue Liao, Aixi Zhang+4 more|arXiv (Cornell University)|Mar 26, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本論文は、CLIPからの視覚的・言語的知識 distillation を通じて相互作用理解を向上させるとともに、ガイド付き埋め込み機構により人-対象の関連付けを簡素化するクエリベースのHOI検出フレームワーク、GEN-VLKTを提案する。post-matching を位置ガイド付き埋め込みに置き換え、分類器をCLIPが提供するテキスト埋め込みで初期化することで、GEN-VLKTは、HICO-Detで5.05 mAPの向上を達成し、ゼロショット一般化性能において顕著な改善を示す。

ABSTRACT

The task of Human-Object Interaction~(HOI) detection could be divided into two core problems, i.e., human-object association and interaction understanding. In this paper, we reveal and address the disadvantages of the conventional query-driven HOI detectors from the two aspects. For the association, previous two-branch methods suffer from complex and costly post-matching, while single-branch methods ignore the features distinction in different tasks. We propose Guided-Embedding Network~(GEN) to attain a two-branch pipeline without post-matching. In GEN, we design an instance decoder to detect humans and objects with two independent query sets and a position Guided Embedding~(p-GE) to mark the human and object in the same position as a pair. Besides, we design an interaction decoder to classify interactions, where the interaction queries are made of instance Guided Embeddings (i-GE) generated from the outputs of each instance decoder layer. For the interaction understanding, previous methods suffer from long-tailed distribution and zero-shot discovery. This paper proposes a Visual-Linguistic Knowledge Transfer (VLKT) training strategy to enhance interaction understanding by transferring knowledge from a visual-linguistic pre-trained model CLIP. In specific, we extract text embeddings for all labels with CLIP to initialize the classifier and adopt a mimic loss to minimize the visual feature distance between GEN and CLIP. As a result, GEN-VLKT outperforms the state of the art by large margins on multiple datasets, e.g., +5.05 mAP on HICO-Det. The source codes are available at https://github.com/YueLiao/gen-vlkt.

研究の動機と目的

• 従来のクエリベースHOI検出器が人-対象関連付けおよび相互作用理解において抱える限界を解消すること。
• 2ブランチHOI検出器における複雑なpost-matchingを回避するため、エンドツーエンドの関連付けを可能にする位置ガイド付き埋め込み機構を導入すること。
• CLIP事前学習済み視覚的・言語的モデルからの知識転送により、ゼロショットおよびレアカテゴリの一般化を向上させること。
• テキスト駆動の分類器初期化とCLIPからの視覚特徴の模倣を通じて、相互作用理解を強化すること。
• 標準的およびゼロショットHOI検出ベンチマークの両方で最先端の性能を達成すること。

提案手法

• 人および対象検出のための別々のクエリセットを備えた2ブランチクエリベースのトランスフォーマー・デコーダアーキテクチャを提案する。
• 同じ空間位置に存在する人クエリと対象クエリをpost-processingなしに関連付けるために、位置ガイド付き埋め込み（p-GE）を導入する。
• ペairedな人クエリと対象クエリから相互作用クエリを生成するインスタンスガイド付き埋め込み（i-GE）を設計し、タスク固有の特徴学習を促進する。
• CLIPが生成したテキスト特徴を用いて分類器を初期化する視覚的・言語的知識転送（VLKT）戦略を採用し、事前知識統合を実現する。
• 特徴分布のギャップを最小限に抑えるために、HOI検出器の視覚特徴をCLIPの特徴と一致させるためのミミック損失を適用する。
• L1損失をミミック損失のコンponentに使用し、L2や組み合わせ損失と比較して、実験的により優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 クエリベースHOI検出器は、post-matchingを排除しつつも、関連付け精度を維持または向上させることができるか？
• RQ2 CLIPからの視覚的・言語的事前学習は、特にレアまたは未学習の動詞や対象に対して、HOI検出における相互作用理解をどのように向上させるか？
• RQ3 CLIPが生成したテキスト表現で分類器を初期化することで、HOIデータセットの長尾分布問題が緩和されるか？
• RQ4 CLIPから密度予測HOI検出器への知識蒸留に最適な損失関数は何か？
• RQ5 提案フレームワークは、未学習の動詞や対象を含むゼロショット設定にどの程度一般化可能か？

主な発見

• GEN-VLKTはHICO-Detデータセットで前回の最先端手法比で5.05 mAPの向上を達成した。
• レア優先設定では、mAPが13.16から21.36に向上し、ベースライン比で8.84 mAPの相対的向上を示した。
• 未学習対象検出では、ATL比で95.95%の相対的mAP向上を達成し、未学習カテゴリ設定では108.12%の向上を示した。
• 未学習動詞（UV）設定では、ベースライン比で55.03%の相対的mAP向上を達成し、強力なゼロショット一般化性能を示した。
• アブレーションスタディにより、L1ミミック損失がL2および組み合わせ損失を上回り、1.66 mAPの向上を示した。
• i-GEまたはp-GEを削除すると、それぞれ1.05および0.65のmAP低下が生じ、特徴の分離と関連付けにおけるその重要性が裏付けられた。