[論文レビュー] Category Query Learning for Human-Object Interaction Classification

Chi Xie, Fangao Zeng+3 more|arXiv (Cornell University)|Mar 24, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、静的なカテゴリ重みベクトルの代わりに学習可能でカテゴリ固有のクエリを用いる、人間-オブジェクトインタラクション（HOI）分類のための新規手法であるカテゴリクエリ学習（CQL）を提案する。これらのクエリは画像レベル分類ヘッドを介して最適化され、インタラクションカテゴリを動的に表現する。HICO-DETで36.03 mAPという最先端の性能を達成し、計算コストの増加を最小限に抑えつつ、複数のベースラインで優れた性能を発揮する。

ABSTRACT

Unlike most previous HOI methods that focus on learning better human-object features, we propose a novel and complementary approach called category query learning. Such queries are explicitly associated to interaction categories, converted to image specific category representation via a transformer decoder, and learnt via an auxiliary image-level classification task. This idea is motivated by an earlier multi-label image classification method, but is for the first time applied for the challenging human-object interaction classification task. Our method is simple, general and effective. It is validated on three representative HOI baselines and achieves new state-of-the-art results on two benchmarks.

研究の動機と目的

• インタラクションカテゴリ間での外観の複雑な変化をモデル化できない、HOI分類における静的カテゴリ重みベクトルの限界を是正すること。
• 各インタラクションカテゴリに対して動的で画像に適応する表現を学習することで、インタラクション分類を向上させること。
• 従来のHOIフレームワークに大きなアーキテクチャ的変更を加えずに、シンプルで汎用的かつ効果的な手法を導入すること。
• 特に密な人間-オブジェクトインタラクションシーンにおいて、画像レベルのカテゴリクエリ学習の有効性を検証すること。

提案手法

• 特定のインタラクションカテゴリに関連付けられたカテゴリクエリを導入し、補助的な画像レベル分類タスクを介して学習する。
• トランスフォーマーのデコーダーを用いて、カテゴリクエリを画像固有のカテゴリ表現に変換し、インタラクション意味の適応的モデリングを可能にする。
• 従来の線形分類器の静的重みベクトルの代わりに、これらの学習可能なクエリを用いるが、推論のメカニズムはそのままである。
• この手法は軽量で汎用的であり、人間-オブジェクト特徴を出力する任意の市販のHOIモデルと互換性を持つ。
• クエリはカテゴリ固有であり、他のHOIトランスフォーマーで用いられるインスタンスレベルのクエリとは異なり、グローバルな画像レベルの意味を捉える。
• トレーニングでは、HOI検出と画像レベルカテゴリ分類の両方を同時に最適化し、カテゴリ表現学習の安定化とガイドを図る。

実験結果

リサーチクエスチョン

• RQ1 静的重みベクトルと比較して、学習可能でカテゴリ固有のクエリは、HOI検出におけるインタラクション分類性能を向上させるか？
• RQ2 画像レベルのカテゴリクエリ学習は、特に複雑または密なインタラクションシーンにおいて、より良い一般化性能を提供するか？
• RQ3 異なるベンチマークにおいて、提案手法は既存のHOIベースラインと比較して性能とロバスト性に優れているか？
• RQ4 本手法による性能向上は、人間-オブジェクトインタラクション密度が高い画像において顕著に現れるか？
• RQ5 本手法は、アーキテクチャの大規模な見直しを伴わず、多様なHOIフレームワークに効果的に統合できるか？

主な発見

• 提案手法はHICO-DETベンチマークで36.03 mAPという、新たな最先端の性能を達成した。
• 本手法は、2つのトランスフォーマー基盤と1つの2段階ベースラインの3つのベースラインモデルを、すべての評価設定で一貫して向上させた。
• インタラクション密度が高くなるほど、相対的な性能向上が大きくなる傾向にあり、特に困難な密なシーンで顕著な利点が得られた。
• 定性的な分析では、誤検出（例：FP「board」は0.29から0.07に低下）が抑制され、真陽性（例：TP「sit on bus」は0.15から0.38に増加）が向上した。
• 誤ったカテゴリは低信頼度スコアを獲得するようになり、画像レベルのカテゴリスコアリングが正しく行われ、全体の検出信頼性が向上した。