[論文レビュー] Cascaded Human-Object Interaction Recognition

Tianfei Zhou, Wenguan Wang+3 more|arXiv (Cornell University)|Mar 9, 2020

Multimodal Machine Learning Applications参考文献 54被引用数 8

ひとこと要約

本論文は、マルチステージのインスタンスロケーションとインタラクション認識を統合し、クロスステージ特徴伝搬を備えた、粗いから細かい段階へのニューラルネットワークアーキテクチャを提案する。このアーキテクチャは最先端の性能を達成し、ICCV 2019 パーソン・イン・コンテキスト・チャレンジにおいて、関係検出およびセグメンテーションの両タスクで1位を獲得した。また、ピクセル単位のマスクベース表現が従来のバウンディングボックス特徴を上回ることを示した。

ABSTRACT

Rapid progress has been witnessed for human-object interaction (HOI) recognition, but most existing models are confined to single-stage reasoning pipelines. Considering the intrinsic complexity of the task, we introduce a cascade architecture for a multi-stage, coarse-to-fine HOI understanding. At each stage, an instance localization network progressively refines HOI proposals and feeds them into an interaction recognition network. Each of the two networks is also connected to its predecessor at the previous stage, enabling cross-stage information propagation. The interaction recognition network has two crucial parts: a relation ranking module for high-quality HOI proposal selection and a triple-stream classifier for relation prediction. With our carefully-designed human-centric relation features, these two modules work collaboratively towards effective interaction understanding. Further beyond relation detection on a bounding-box level, we make our framework flexible to perform fine-grained pixel-wise relation segmentation; this provides a new glimpse into better relation modeling. Our approach reached the $1^{st}$ place in the ICCV2019 Person in Context Challenge, on both relation detection and segmentation tasks. It also shows promising results on V-COCO.

研究の動機と目的

• マルチステージで粗いから細かい段階への推論フレームワークを導入することで、人間-オブジェクトインタラクション認識の本質的複雑性に対処すること。
• 顔のパターンや意味的特徴といった人間中心の特徴を活用することで、より良い行動推論を実現し、インタラクション理解を向上させること。
• バウンディングボックス表現と比較して、ピクセル単位のマスクベース表現がHOIモデリングにおいて有効であるかを検証すること。
• バウンディングボックスレベルの検出を超えて、細粒度のピクセル単位の関係セグメンテーションを可能にするフレームワークの拡張を図ること。

提案手法

• モデルは3段階のカスケードアーキテクチャを採用しており、各段階でインスタンスロケーションネットワークを用いてHOI候補を段階的に精錬する。
• 関係ランク付けモジュール（RRM）とトリプルストリーム分類器（RCM）を備えたインタラクション認識ネットワークが、高品質な候補ペア上で関係を選び、予測する。
• 人間中心の特徴（意味的、幾何的、視覚的）を抽出し、学習されたスコア統合戦略を用いて統合することで、関係表現を強化する。
• クロスステージ接続により、連続する段階間での情報伝達が可能となり、特徴学習と推論精度が向上する。
• RoIAlignをマスク領域に適応することで、バウンディングボックスレベルの関係検出とピクセル単位の関係セグメンテーションの両方をサポートする。
• 要素ごとの最大値および和演算を用いて、バウンディングボックスとマスクベース特徴をハイブリッドで統合する戦略を採用し、アブレーション解析に用いる。

実験結果

リサーチクエスチョン

• RQ1 段階的で粗いから細かい段階へのアーキテクチャは、単一段階モデルと比較して、人間-オブジェクトインタラクション認識の精度とロバスト性を向上させることができるか？
• RQ2 顔のパターンや意味的特徴といった人間中心の特徴は、HOI認識におけるインタラクション理解をどのように向上させるか？
• RQ3 ピクセル単位のマスクベース表現は、従来のバウンディングボックス表現よりも、人間-オブジェクトインタラクションのモデリングにおいて効果的であるか？
• RQ4 同じカスケードフレームワークを、細粒度のピクセル単位の関係セグメンテーションに柔軟に拡張可能か？

主な発見

• 提案されたカスケードモデルは、ICCV 2019 パーソン・イン・コンテキスト・チャレンジにおいて、HOIW（関係検出）およびPIC（関係セグメンテーション）の両トラックで1位を獲得した。
• PIC検証セットにおいて、ResNet-50バックボーンとT=3段階を用いて、R@20が27.8%、R@50が38.3%、R@100が45.3%、mAP_relが43.7%を達成した。
• マスクベース表現の使用がバウンディングボックス表現を上回り、特に厳しい評価基準（R@20）において0.7%の絶対的向上を示した。
• 要素ごとの最大値または和を用いたマスクとバウンディングボックス特徴の統合により、バウンディングボックスのみの特徴よりも性能が向上したが、純粋なマスクベース特徴にはわずかに劣った。
• 関係ランク付けモジュールは低品質な候補を効果的にフィルタリングし、学習されたスコア統合を備えたトリプルストリーム分類器は、単一特徴ベースラインよりも優れた性能を達成した。
• モデルの推論速度は段階数が増えるにつれて向上したが、T=3を過ぎると性能が頭打ちとなり、T=3が最適な設定であると正当化された。