[論文レビュー] Concurrence-Aware Long Short-Term Sub-Memories for Person-Person Action Recognition

Xiangbo Shu|arXiv (Cornell University)|Jun 3, 2017

Human Pose and Action Recognition参考文献 38被引用数 10

ひとこと要約

本論文では、2人の相互作用する人物間の長期的で相関関係のあるダイナミクスを、2つのサブメモリユニットと、同時に作用する運動パターンを選択的に統合する共通メモリセルを備えた新しいLSTMベースのアーキテクチャ、Concurrence-Aware Long Short-Term Sub-Memories (Co-LSTSM) を提案する。この手法は、BITデータセットで先行するLSTMベースの手法よりも約8%高い性能を達成し、UTデータセットでは95.00%の正確性に到達する。

ABSTRACT

Recently, Long Short-Term Memory (LSTM) has become a popular choice to model individual dynamics for single-person action recognition due to its ability of modeling the temporal information in various ranges of dynamic contexts. However, existing RNN models only focus on capturing the temporal dynamics of the person-person interactions by naively combining the activity dynamics of individuals or modeling them as a whole. This neglects the inter-related dynamics of how person-person interactions change over time. To this end, we propose a novel Concurrence-Aware Long Short-Term Sub-Memories (Co-LSTSM) to model the long-term inter-related dynamics between two interacting people on the bounding boxes covering people. Specifically, for each frame, two sub-memory units store individual motion information, while a concurrent LSTM unit selectively integrates and stores inter-related motion information between interacting people from these two sub-memory units via a new co-memory cell. Experimental results on the BIT and UT datasets show the superiority of Co-LSTSM compared with the state-of-the-art methods.

研究の動機と目的

• 人物同士の行動認識において、従来のRNNおよびLSTMモデルが、2人の相互作用する人物間の長期的かつ相関関係のあるダイナミクスを捉えることの限界を解決すること。
• 独立して処理するか、単一のユニットとして扱うのではなく、対称的または相互に作用する運動パターンといった、同時に発生する相関関係のある運動パターンをモデル化すること。
• 共通メモリセルを備えた新しい共通LSTMユニットを通じて、相互作用する運動パターンにおける時間的依存関係を明示的に学習することで、認識精度を向上させること。
• 本アーキテクチャの有効性を、行動認識および早期相互作用予測の両タスクにおいて示すこと。

提案手法

• モデルは、1フレームごとに2人の人物のバウンディングボックスからの運動表現を格納する2つのサブメモリユニットを備えた、共通LSTMユニットを採用する。
• 2つのサブメモリユニットからの相関関係のある運動情報の選択的統合と格納を可能にする、新しい共通メモリセルπₜを導入し、人物間の同時ダイナミクスを捉える。
• 共通LSTMユニットは、個々の運動特徴ではなく、相関関係のある運動ダイナミクスを反映した統合隠れ表現を出力する。
• 連続する動画フレームにわたって、相関関係のあるダイナミクスの進化を再帰的にモデル化するために、スタックされた共通LSTMユニットを用いる。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで訓練され、共通メモリセルが関連のある人物間の運動パターンへの選択的注目を可能にする。
• 本手法は、BITおよびUTデータセットを用いて、行動認識および早期相互作用予測の両タスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 変更を加えたLSTMアーキテクチャは、人物同士の行動認識において、2人の相互作用する人物間の長期的かつ相関関係のある運動ダイナミクスを効果的にモデル化できるか？
• RQ2 相関関係のある運動特徴を選択的に統合する共通メモリセルを含めることで、標準LSTMや個々の人物を独立してモデル化する手法と比較して、認識性能がどの程度向上するか？
• RQ3 制限された時間的文脈のもとで、本手法は進行中の相互作用をどの程度早期に予測できるか？
• RQ4 本手法は、対称的（例：ハンドシェイク）および非対称的（例：キックと後退）の多様な相互作用タイプに一般化して適応できるか？

主な発見

• BITデータセットでは、Co-LSTSMが95.00%の認識正確性を達成し、前回の最先端手法を約8ポイント上回った。
• UTデータセットでは、Co-LSTSMが95.00%の正確性を達成し、最高性能を示した手法（Zhangら[56]）と同等の性能を示し、すべてのLSTMベースのベースラインを上回った。
• 人間の相互作用予測において、Co-LSTSMは観測比0.6の時点で最も顕著な性能向上を示し、優れた早期予測能力を示した。
• 観測比0.4から0.6の間で、モデルの正確性が急速に上昇したため、中間段階での実行時に重要な相互作用ダイナミクスを捉えていると示唆された。
• 観測比0.7でモデルの性能が安定化したため、この時点で十分な相関関係のある運動パターンが捉えられていることが示された。
• 相互作用予測において、Co-LSTSMは、DBoW、SC、MSSC、MTSSVM、MMAPM、LRCN、SSTFLを含むすべての比較手法を、観測比の全範囲で一貫して上回った。