[論文レビュー] Interactive Fusion of Multi-level Features for Compositional Activity Recognition

Rui Yan, Lingxi Xie+2 more|arXiv (Cornell University)|Dec 10, 2020

Human Pose and Action Recognition参考文献 35被引用数 9

ひとこと要約

本論文は、位置、外観、意味の3つのレベルの特徴を統合するインタラクティブな統合フレームワークを提案する。このフレームワークは、特徴をモダリティ間で投影し、補助的な時系列予測タスクによって統合をガイドすることで、構成的行動認識を実現する。提案手法は、最先端のモデルと比較してSomething-Elseデータセットでトップ1正解率が2.9%向上し、構成的推論における優れた汎化性能とロバスト性を示している。

ABSTRACT

To understand a complex action, multiple sources of information, including appearance, positional, and semantic features, need to be integrated. However, these features are difficult to be fused since they often differ significantly in modality and dimensionality. In this paper, we present a novel framework that accomplishes this goal by interactive fusion, namely, projecting features across different spaces and guiding it using an auxiliary prediction task. Specifically, we implement the framework in three steps, namely, positional-to-appearance feature extraction, semantic feature interaction, and semantic-to-positional prediction. We evaluate our approach on two action recognition datasets, Something-Something and Charades. Interactive fusion achieves consistent accuracy gain beyond off-the-shelf action recognition algorithms. In particular, on Something-Else, the compositional setting of Something-Something, interactive fusion reports a remarkable gain of 2.9% in terms of top-1 accuracy.

研究の動機と目的

• 構成的行動認識のための、モダリティや次元が著しく異なる外観、位置、意味の多レベル特徴を統合する課題に対処すること。
• 異種特徴間の相互作用をモデル化できないため、一般化性能が低く偏りが生じる後段統合手法の限界を克服すること。
• インタラクティブな特徴統合を通じた構成的推論を活用して、訓練時に見られなかった物体と動作の組み合わせに対しても汎化できるようにすること。
• 空間的・時間的関係を組み込むことで、外観ベースのインダクティブバイアスへの依存を軽減すること。
• 特徴間の相互作用と表現学習を強化することで、少サンプルおよびゼロショットの構成的設定での性能を向上させること。

提案手法

• トラックレットを用いてインスタンス中心の表現を構築し、それらを非外観特徴と統合して統合表現を生成することで、位置特徴から外観特徴への抽出を実行する。
• 潜在空間において統合表現間のカテゴリに依存するペairワイズ関係をモデル化することで、意味特徴の相互作用を実装する。
• 補助タスクとして意味特徴から位置特徴への予測を実装し、モデルが将来のインスタンスの位置とオフセットを予測することで特徉融合をガイドする。
• 学習可能なプロジェクションヘッドを用いて意味特徴を位置空間にマッピングし、モダリティ間の相互作用とアライメントを可能にする。
• ハイパーパrameter λ が寄与を調整する重み付き組み合わせにより、主な認識損失と補助予測損失の両方を最適化する。
• 強力なバックボーン（例：I3D）と関係性モジュール（例：STIN, NL）を統合し、特徴学習を強化するエンドツーエンドのフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 従来の後段統合や初期連結とは異なり、多レベル特徴のインタラクティブ統合が構成的行動認識を向上させられるか？
• RQ2 将来のインスタンス状態の補助予測が、多モーダル行動認識における特徴相互作用と表現学習をどのように向上させるか？
• RQ3 提案されたフレームワークが、学習時に見られなかった物体と動作の組み合わせに対してもどれほど汎化できるか？
• RQ4 インタラクティブ統合は、外観が曖昧な状況において、外観ベースのインダクティブバイアスへの依存を軽減するか？
• RQ5 標準的なエンドツーエンドモデルと比較して、本モデルは少サンプルまたはゼロショット設定でどの程度の性能を示すか？

主な発見

• 提案されたインタラクティブ統合フレームワークは、[20]のエンドツーエンドモデルと比較して、Something-Elseデータセットでトップ1正解率が2.9%、トップ5正解率が3.3%向上した。
• 微細なCharadesデータセットでは、I3D + STINと比較してmAPが6.8%向上し、Ours-SFIのフルセットでは25.2%向上し、最近の関係性モデルを上回った。
• 少サンプル設定においても強力な汎化性能を示しており、インタラクティブ統合が過学習を緩和し、ロバスト性を向上させることを示している。
• カテゴリごとの分析から、相対運動や物体の性質を含む複雑な動作、例えば「～から何かを注ぐ」や「何かを回転させて、それがさらに回転し続ける」などのタスクで、ベースラインを著しく上回った。
• 可視化結果から、本モデルは、容器の有無に基づいて誤分類するなど、後段統合手法に見られる外観的・位置的バイアスを回避していることがわかった。
• アブレーションスタディにより、補助予測タスクが訓練を安定化させ、最適なλ = 5で性能向上をもたらすことが確認された。また、特徴の一部が情報が薄い場合、単純な後段統合は性能を劣化させることがわかった。