[論文レビュー] Weakly-supervised HOI Detection via Prior-guided Bi-level Representation Learning

Bo Wan, Yongfei Liu+3 more|arXiv (Cornell University)|Mar 2, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、画像レベルおよびHOIインスタンスレベルの事前知識を知識バンクと自己学習型類似度分類を用いて統合することで、弱教師付きHOI検出のためのCLIP誘導型二段階表現学習フレームワークを提案する。HICO-DETおよびV-COCOで最先端の性能を達成し、希少で細分化された相互作用の精度を著しく向上させるとともに、ノイズの多い人-オブジェクト関連を低減する。

ABSTRACT

Human object interaction (HOI) detection plays a crucial role in human-centric scene understanding and serves as a fundamental building-block for many vision tasks. One generalizable and scalable strategy for HOI detection is to use weak supervision, learning from image-level annotations only. This is inherently challenging due to ambiguous human-object associations, large search space of detecting HOIs and highly noisy training signal. A promising strategy to address those challenges is to exploit knowledge from large-scale pretrained models (e.g., CLIP), but a direct knowledge distillation strategy~\citep{liao2022gen} does not perform well on the weakly-supervised setting. In contrast, we develop a CLIP-guided HOI representation capable of incorporating the prior knowledge at both image level and HOI instance level, and adopt a self-taught mechanism to prune incorrect human-object associations. Experimental results on HICO-DET and V-COCO show that our method outperforms the previous works by a sizable margin, showing the efficacy of our HOI representation.

研究の動機と目的

• 弱教師付きHOI検出の課題、ならびに曖昧な人-オブジェクト関連、巨大な探索空間、ノイズの多い画像レベルの教師信号に対処すること。
• CLIPからの事前知識を活用することで、細分化されたおよび長尾分布を示すHOIクラスの表現学習を向上させること。
• 相互作用の意味を捉えるのに不十分なオブジェクト検出器の特徴に依存するのを減らすこと。
• 自己学習メカニズムによる不正な関連の削除により、データセットバイアスとノイズの多い提案を軽減すること。
• 画像レベルとペアレベルの両方で表現を強化する二段階の知識統合戦略を開発すること。

提案手法

• グローバルブランチは、CLIPの視覚的およびテキスト的埋め込みを用いて画像単位のHOI予測を生成し、関係性知識バンクを構築する。
• ローカルブランチは、新しいアテンションメカニズムを介してCLIP誘導型知識バンクを用いて人-オブジェクト提案特徴を強化する。
• 知識移転ネットワーク（KTN）は、知識バンクと領域ベースの特徴を統合し、ペairワイズな相互作用表現を豊かにする。
• 自己学習型類似度分類（SRC）ヘッドは、人-オブジェクトペアが意味的に関連しているかどうかを予測し、関連のないペアを抑制する。
• 最終的なHOIスコアは、グローバルブランチとペアワイズブランチのスコアを統合し、学習は画像レベルのラベルのみで行う。
• 視覚エンコーダーと知識バンクはCLIPから初期化され、強力な一般化性能と事前知識の統合を保証する。

Figure 1: Model Overview: There are four modules in our network: a backbone Network, an HOI recognition network, a knowledge transfer network and a pairwise classification network.

実験結果

リサーチクエスチョン

• RQ1 画像レベルのラベルしか利用できない状況下で、CLIPベースの事前知識は弱教師付きHOI検出を改善できるか？
• RQ2 画像レベルとインスタンスレベルの両方における二段階の知識統合は、細分化されたHOI認識のための表現学習をどのように向上させるか？
• RQ3 自己学習型類似度分類ヘッドは、弱教師付き設定下でノイズの多い人-オブジェクト関連を効果的に抑制できるか？
• RQ4 一般化性能および長尾分布へのロバストネスの観点から、CLIP初期化はランダム初期化や検出器事前学習初期化を上回るか？
• RQ5 提案手法は、先行研究と比較して、希少かつ曖昧なHOIクラスの性能をどの程度向上させるか？

主な発見

• 提案手法は、HICO-DETで38.79のFull mAPを達成し、先行する弱教師付き手法を著しく上回る、新たなSOTAを達成した。
• V-COCOでは33.88のFull mAPを達成し、ベンチマーク間で強い一般化性能を示した。
• KTNと組み合わせた自己学習型類似度分類（SRC）ヘッドは、Full mAPを0.49向上させ、不正な関連の削除が有効であることを示した。
• 希少HOIクラスでは16.20のmAPを達成し、ベースラインから0.63 mAP向上させ、長尾分布への対処能力の向上を示した。
• 知識バンクをランダム初期化した場合、希少クラスmAPは16.20から15.57に低下し、CLIPベース初期化の重要性を裏付けた。
• 定性的な結果から、希少HOI予測の信頼性が向上し、意味的に類似した相互作用（例：repair_truck と inspect_truck）の区別が明確になった。

Figure 2: The knowledge transfer network explicitly transfers the discriminative relation-level semantic knowledge derived from CLIP to the pairwise HOI representations. Pseudo relatedness label generation uses the pairwise interaction scores to generate the pseudo association labels for self-taught