[論文レビュー] Parallel Reasoning Network for Human-Object Interaction Detection

Huan Peng, Fenggang Liu+5 more|arXiv (Cornell University)|Jan 9, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、人間-オブジェクトインタラクション（HOI）検出のための新しいトランスフォーマー基盤フレームワーク、Parallel Reasoning Network（PR-Net）を提案する。PR-Netは、二つの並列で専用の予測器を用いて、インスタンスレベルの局所化と関係レベルの理解を分離することで、インスタンスレベルと関係レベルの予測における注意の焦点を一貫性を持たせる。人体やオブジェクトの端末領域に注目してインスタンス検出を行い、関係推論ではインタラクションの接触領域や文脈領域に注目を広げる。このアプローチにより、HICO-DETおよびV-COCOベンチマークで最先端の性能を達成し、分離された予測とTrident-NMSの後処理により、精度が向上するとともに計算コストが削減された。

ABSTRACT

Human-Object Interaction (HOI) detection aims to learn how human interacts with surrounding objects. Previous HOI detection frameworks simultaneously detect human, objects and their corresponding interactions by using a predictor. Using only one shared predictor cannot differentiate the attentive field of instance-level prediction and relation-level prediction. To solve this problem, we propose a new transformer-based method named Parallel Reasoning Network(PR-Net), which constructs two independent predictors for instance-level localization and relation-level understanding. The former predictor concentrates on instance-level localization by perceiving instances' extremity regions. The latter broadens the scope of relation region to reach a better relation-level semantic understanding. Extensive experiments and analysis on HICO-DET benchmark exhibit that our PR-Net effectively alleviated this problem. Our PR-Net has achieved competitive results on HICO-DET and V-COCO benchmarks.

研究の動機と目的

• 既存のHOI検出器におけるインスタンスレベルと関係レベルの予測における注意の焦点の不一致を解消すること。
• ハードネガティブおよび複雑なHOIサンプルのインタラクション理解を向上させるために、局所化と意味的推論を分離すること。
• インスタンスと関係の予測の間で後処理のマッチングや再構成ステップを不要にする。
• 専用の予測器を備えた並列で分離されたアーキテクチャにより、より良い性能と効率性を達成すること。
• 一貫性損失とTrident-NMSの有効性を訓練と推論の両面で検証すること。

提案手法

• PR-Netは、人体やオブジェクトの端末領域に注目してインスタンスレベルの局所化を実行する、専用のトランスフォーマー基盤予測器を1つ採用する。
• もう1つの予測器は、インタラクションの接触領域や文脈領域に注目することで、関係レベルの理解に特化している。
• インスタンスレベルと関係レベルのクエリは厳密に整合されており、それらの間でクロスアテンションやマッチングモジュールを必要としない。
• 訓練中に二つの予測器間の特徴を一致させるために一貫性損失が導入され、特徴の一貫性とモデルの頑健性が向上する。
• 重複する人体、オブジェクト、関係のボックスを処理するために、トリオIoU（TriIoU）スコアを計算するTrident-NMSが提案されている。このスコアは、3種類のボックスタイプの重み付きIoUを組み合わせたものである。
• 各予測器に別々のデコーダヘッドを備えた共通のバックボーン（ResNet）を用い、再構成を必要としない効率的な共同推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 並列で分離されたアーキテクチャは、HOI検出におけるインスタンスレベルと関係レベルの予測における注意の焦点の一貫性を向上させることができるか？
• RQ2 インスタンスの局所化とインタラクション理解を分離することで、ハードネガティブおよび複雑なHOIサンプルにおける性能が向上するか？
• RQ3 共通のバックボーンと2つの独立したデコーダを備えたアーキテクチャは、既存の1段階および2段階のHOI検出器を上回る精度と効率性を達成できるか？
• RQ4 提案された一貫性損失は、異なる予測レベル間の特徴をどれほど効果的に一致させることができるか？
• RQ5 Trident-NMSは、人体ボックスの重複を低減することで、後処理の性能をどの程度向上させるか？

主な発見

• ResNet-50を用いたPR-NetはHICO-DETで平均mAP 31.17%を達成し、同じ設定下でQPICベースライン（29.07%）を上回った。ResNet-101を用いた場合は32.86%を達成し、QPICベースライン（29.90%）を上回った。
• 各予測器に1層のデコーダのみを用いても、PR-Netは6層を用いたQPICベースラインを上回るmAP 29.64%を達成し、アーキテクチャの効率性を示した。
• アブレーションスタディの結果、デコーダ層の数を増やすことで性能が向上し、各予測器に3層を割り当てたResNet-101ではmAPが32.86%に達した。
• 積形式のTrident-NMSは和形式のTriIoUを上回り、人体IoUの重みを増やすことで性能が向上した。これは人体ボックスの重複が顕著であることを示唆している。
• t-SNE可視化により、PR-Netはオブジェクトクラスおよびインタラクションクラスの判別性が高く、分離された特徴を学習していることが確認された。特に複雑なインタラクションに対して強い表現力を持つ。
• 定性的な結果から、PR-Netは微妙で検出が難しいHOIを正確に検出できており、複雑なシーンにおいても騎手を正しく特定している。