[論文レビュー] Is Object Detection Necessary for Human-Object Interaction Recognition?

Ying Jin, Yinpeng Chen+5 more|arXiv (Cornell University)|Jul 27, 2021

Multimodal Machine Learning Applications参考文献 36被引用数 4

ひとこと要約

本稿では、CLIPベースのテキスト埋め込み初期化と、新規のログ和指数シグニカル（LSE-Sign）損失関数を活用することで、検出に依存しない人間-オブジェクトインタラクション（HOI）認識手法DEFRを提案する。物体検出や人間のキーポイント検出に依存しないDEFRは、HICOで60.5 mAPを達成し、検出に依存する手法よりも13.4 mAP優れている。これは、画像-テキスト事前学習と構造的マルチラベル学習が、検出の監視を排除しつつ精度を向上させられることを示している。

ABSTRACT

This paper revisits human-object interaction (HOI) recognition at image level without using supervisions of object location and human pose. We name it detection-free HOI recognition, in contrast to the existing detection-supervised approaches which rely on object and keypoint detections to achieve state of the art. With our method, not only the detection supervision is evitable, but superior performance can be achieved by properly using image-text pre-training (such as CLIP) and the proposed Log-Sum-Exp Sign (LSE-Sign) loss function. Specifically, using text embeddings of class labels to initialize the linear classifier is essential for leveraging the CLIP pre-trained image encoder. In addition, LSE-Sign loss facilitates learning from multiple labels on an imbalanced dataset by normalizing gradients over all classes in a softmax format. Surprisingly, our detection-free solution achieves 60.5 mAP on the HICO dataset, outperforming the detection-supervised state of the art by 13.4 mAP

研究の動機と目的

• 物体検出が高性能な人間-オブジェクトインタラクション認識に必要かどうかを調査すること。
• オブジェクトおよび人間のキーポイント検出の監視を排除することで、HOI認識パイプラインを簡素化すること。
• 画像-テキスト事前学習の有効な活用と、新規のマルチラベル損失関数を通じて、検出フリーなHOI認識を向上させること。
• 検出フリー手法が、検出に依存する最先端手法を上回ることを実証すること。

提案手法

• ImageNet や CLIP で事前学習されたビジョントランスフォーマーベースに、HOIクラスラベルのテキスト埋め込みで初期化された線形分類器ヘッドを用いる。
• CLIPのテキストエンコーダーを用いて、分類器初期化のためのクラスラベル埋め込みを生成し、画像のみで事前学習されたバックボーンに対しても顕著な性能向上を達成する。
• すべてのクラスに対してソフトマックスに類似した方法で勾配を正規化するための、新規のログ和指数シグニカル（LSE-Sign）損失関数を導入し、クラスの不均衡に起因する学習の改善を可能にする。
• ファインチューニング中にLSE-Sign損失を適用することで、最も困難な（損失が最大の）クラスに注目を向けるよう促し、全HOIカテゴリにわたる一般化性能を向上させる。
• LSE-Sign損失におけるスカラー超パrameter γ を用いて勾配の大きさを制御し、最適な性能は γ=100 のときが得られる。
• 2段階のトレーニングパイプラインを採用：まず、事前エンコードされたテキスト埋め込みで分類器を初期化し、次にLSE-Sign損失を用いてモデル全体をファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 物体検出や人間のキーポイント検出の監視なしに、人間-オブジェクトインタラクション認識を効果的に行うことは可能か？
• RQ2 CLIPのような画像-テキスト事前学習が、分類器初期化に用いられた場合、検出フリーなHOI認識にどのように寄与するか？
• RQ3 新規の損失関数は、クラスの不均衡があるマルチラベルHOI認識において、標準的なバイナリクロスエントロピーを上回ることができるか？
• RQ4 テキスト埋め込み初期化と構造的マルチラベル損失の組み合わせにより、検出に依存する手法よりも優れた性能が得られるか？

主な発見

• DEFRは、画像-テキスト事前学習とLSE-Sign損失のみを用いてHICOデータセットで60.5 mAPを達成し、検出に依存する最先端手法（47.1 mAP）を13.4 mAP上回った。
• CLIP事前学習済みViT-B/32バックボーンを用いた場合、CLIPのテキストエンコーダーを用いた分類器初期化は、ランダム初期化に比べて23.7 mAPの性能向上をもたらした。
• LSE-Sign損失は、バイナリクロスエントロピー、重み付きBCE、ファーコンス損失を上回り、最良のモデルで60.5 mAPを達成したのに対し、BCEでは57.9 mAPにとどまった。
• LSE-Sign損失における最適なスカラーγは100であり、60.5 mAPを達成した。γがこれより高すぎたり低すぎたりすると、性能が著しく低下した。
• BERTやCLIPのテキストエンコーダーによる埋め込み初期化は、ImageNetで事前学習された画像バックボーンを用いても、10 mAP以上の性能向上をもたらした。
• CLIP、ImageNet-1K、ImageNet-21Kを含む、全テスト対象の事前学習バックボーンで、本手法は最先端の結果を達成した。