[論文レビュー] Social Scene Understanding: End-to-End Multi-Person Action Localization and Collective Activity Recognition

Timur Bagautdinov, Alexandre Alahi+3 more|arXiv (Cornell University)|Nov 28, 2016

Human Pose and Action Recognition参考文献 30被引用数 7

ひとこと要約

本論文は、1回の順伝播で複数人の人物を同時に検出し、個々の社会的行動を認識し、集団的なグループ行動を推論するエンド・ツー・エンドのディーブラーニングフレームワークを提案する。共有マルチスケール特徴、新しい確率的推論に基づく検出方式、および時間的モデリングのための人物レベルRNNを活用することで、外部の検出またはトラッキングパイプラインに依存せずに、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

We present a unified framework for understanding human social behaviors in raw image sequences. Our model jointly detects multiple individuals, infers their social actions, and estimates the collective actions with a single feed-forward pass through a neural network. We propose a single architecture that does not rely on external detection algorithms but rather is trained end-to-end to generate dense proposal maps that are refined via a novel inference scheme. The temporal consistency is handled via a person-level matching Recurrent Neural Network. The complete model takes as input a sequence of frames and outputs detections along with the estimates of individual actions and collective activities. We demonstrate state-of-the-art performance of our algorithm on multiple publicly available benchmarks.

研究の動機と目的

• 生動画シーケンスにおいて、複数人検出、個別行動認識、集団的行動認識を統合的に実行する包括的なディーブラーニングフレームワークの開発。
• 分離された検出、トラッキング、特徴抽出段階に依存する順次パイプラインの制限を克服し、文脈的および相互作用的ヒントを失うのを防ぐ。
• 外部の真値検出またはトラッキングに依存しないエンド・ツー・エンドの学習を可能にし、耐障害性と効率性を向上させる。
• 事前に計算された軌跡を必要とせず、時間的に一貫性を保つ人物レベルマッチングRNNを用いて、時間的整合性をモデル化する。
• バドミントンおよびブレインウォッシュデータセットを含む、複数人行動理解ベンチマークで最先端の性能を示す。

提案手法

• 全畝みニューラルネットワーク（FCN）が各フレームを処理し、全タスクに共有されるマルチスケール特徴マップを生成する。
• 専用の全畝み検出ネットワーク（DFCN）が、バウンディングボックスと信頼度スコアを伴う密度の高い検出候補を出力する。
• ハイブリッドマークフ・ランダムフィールド（MRF）が、グリーディーな非最大抑制（NMS）を置き換えるために、検出仮説の統合的確率的推論を実行する。
• 洗練された検出から抽出された人物レベル埋め込みを、時間的整合性をモデル化し、個別および集団的行動を予測するための再帰ニューラルネットワーク（RNN）に供給する。
• 検出（L_det）と行動認識（L_CI）のための別々の損失関数を用いて、エンド・ツー・エンドで学習し、共同最適化を可能にする。
• 学習された埋め込みを用いた新しいマッチング戦略が、特に混雑したシーンにおいて、座標ベースのマッチングよりも検出関連の性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 包括的なディーブラーニングモデルは、生動画シーケンスにおいて複数人の人物を同時にローカライズし、個々の社会的行動を認識し、集団的なグループ行動を推論できるか？
• RQ2 共有マルチスケール特徴を用いたエンド・ツー・エンド学習は、順次パイプラインと比較して性能をどのように向上させるか？
• RQ3 混雑したシーンにおいて、確率的推論に基づく検出方式は、グリーディーな非最大抑制を上回る程度はどの程度か？
• RQ4 人物レベルRNNによる時間的モデリングは、特に集団的行動認識において、認識精度を向上させるか？
• RQ5 外部の検出またはトラッキングアノテーションに依存しない本手法は、最先端の性能を達成できるか？

主な発見

• MRFベースの検出と埋め込みマッチングを用いた場合、バドミントンデータセットにおいて集団的行動認識で87.1%、個別行動認識で77.9%の平均精度を達成した。
• ブレインウォッシュデータセットにおいて、Faster R-CNNおよびReInspectを上回り、平均適合率88%、等誤差率87%を達成し、ReInspect-rezoomと同等の性能を示した。
• 埋め込みベースのマッチング（embedおよびembed-soft）は、真値ではなく予測された検出を用いる場合に、座標ベースのマッチング（boxes）よりも顕著に性能を向上させた。
• ハイブリッドMRFによる統合的推論は、検出品質を向上させ、非最大抑制よりも優れた行動認識性能をもたらしたことが表3で示された。
• 人物レベルRNNは集団的行動認識を向上させたが、個別行動認識における向上は限定的であったため、空間プーリングによる微細な行動ダイナミクスの捉えにくさが示唆された。
• 本モデルは優れた一般化性能を示し、テスト時に真値検出やトラッキングを必要とせず、複数のベンチマークで最先端の結果を達成した。