[論文レビュー] Diagnosing Human-object Interaction Detectors

Fangrui Zhu, Yiming Xie+2 more|arXiv (Cornell University)|Aug 16, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

この論文は、mAPを越えた詳細な定量的分析を可能にする、人間-オブジェクトインタラクション（HOI）検出のための診断ツールボックスを導入する。誤りを特定可能なタイプに分解し、オラクルによる修正によるmAPの向上を測定することで、特にインタラクション分類における失敗モードを同定し、最先端モデルRLIPv2が他のモデルを上回る主な理由が、優れたマルチラベルインタラクション分類精度にあることを明らかにする。

ABSTRACT

We have witnessed significant progress in human-object interaction (HOI) detection. The reliance on mAP (mean Average Precision) scores as a summary metric, however, does not provide sufficient insight into the nuances of model performance (e.g., why one model is better than another), which can hinder further innovation in this field. To address this issue, in this paper, we introduce a diagnosis toolbox to provide detailed quantitative break-down analysis of HOI detection models, inspired by the success of object detection diagnosis toolboxes. We first conduct holistic investigations in the pipeline of HOI detection. By defining a set of errors and the oracles to fix each of them, we can have a quantitative analysis of the significance of different errors according to the mAP improvement obtained from fixing each error. We then delve into two sub-tasks of HOI detection: human-object pair detection and interaction classification, respectively. For the first detection task, we compute the coverage of ground-truth human-object pairs as well as the noisiness level in the detection results. For the second classification task, we measure a model's performance of differentiating positive and negative detection results and also classifying the actual interactions when the human-object pairs are correctly detected. We analyze eight state-of-the-art HOI detection models and provide valuable diagnosis insights to foster future research. For instance, our diagnosis shows that state-of-the-art model RLIPv2 outperforms others mainly because it significantly improves the multi-label interaction classification accuracy. Our toolbox is applicable for different methods across different datasets and available at https://github.com/neu-vi/Diag-HOI.

研究の動機と目的

• mAPスコアの上昇が続く中で、HOI検出モデルの性能に関する詳細な洞察が不足している現状に対処する。
• 異なる誤りタイプがmAPに与える影響を定量化することで、モデルの失敗要因を特定する。
• HOI検出を「人間-オブジェクトペア検出」と「インタラクション分類」の2つのサブタスクに分解し、詳細な分析を可能にする。
• 異なるモデルやデータセットに適用可能な診断フレームワークを提供し、今後のモデル開発を支援する。
• 最先端モデルであるRLIPv2が、詳細な定量的分解を通じてなぜ他のモデルを上回る性能を発揮するのかを解明する。

提案手法

• HOI検出パイプラインにおける誤りタイプ（例：偽陽性、偽陰性）を定義し、各タイプを修正するためのオラクルを導入する。
• 各オラクルを適用した際のmAP向上を測定することで、各誤りタイプの重要性を定量化する。
• ペアリコール（正例ペアのカバー率）とペアプレシジョン（検出のノイズ度）を用いて、人間-オブジェクトペア検出を評価する。
• バイナリ分類のためのAP（正例/負例ペアの分類）と、ペアが正しく検出された際のマルチラベル分類のためのmAPを用いて、インタラクション分類を評価する。
• ツールボックスを8つの最先端HOIモデルに適用し、サブタスクごとのパフォーマンスを分離して分析する。
• NMSと検出スコアのしきい値調整を用いて、1段階型と2段階型のモデルを同等のペア数で比較する。

実験結果

リサーチクエスチョン

• RQ1 どのタイプの誤りがHOI検出モデルのmAP低下に最も顕著に寄与しているか？
• RQ2 1段階型と2段階型のHOI検出パラダイムは、ペア検出と分類性能においてどのように異なるか？
• RQ3 現在のHOI検出における主なボトルネックは、ペアの局所化か、インタラクション分類か？
• RQ4 mAPが類似しているにもかかわらず、最先端モデルRLIPv2が他のモデルを上回る主な理由は何か？
• RQ5 オブジェクト検出の品質と人間検出のリコールは、最終的なHOIパフォーマンスにどの程度影響を及えるか？

主な発見

• 偽陽性誤りを修正することでmAPが顕著に向上し、一部のモデルではその修正でmAPが30%以上向上する。
• 偽陰性誤りも性能低下に大きく寄与しており、正例ペアが欠落している場合にmAPが30%以上向上する。
• RLIPv2は、主にインタラクション分類誤りの修正による12.94%のmAP向上のおかげで、他のモデルを上回っている。これは、マルチラベル分類性能に優れていることを示している。
• ペア検出のリコールは一般的に高い（例：HICO-DETにおける人間検出で91.5%）が、プレシジョンは低く、ノイズの多い検出が見られる。
• 検出ペア数を増やす（しきい値を下げる、NMSを無効化する）ことでリコールは向上するが、mAPの向上は顕著ではなく、ペアの質が数よりも重要であることが示唆される。
• 診断の結果、誤ったインタラクション分類が主なボトルネックとなっており、弱教師ありまたはエンドツーエンド学習に依存するモデルで顕著である。