[論文レビュー] Transition Forests: Learning Discriminative Temporal Transitions for Action Recognition and Detection

Guillermo Garcia-Hernando, Tae‐Kyun Kim|arXiv (Cornell University)|Jul 10, 2016

Human Pose and Action Recognition参考文献 34被引用数 5

ひとこと要約

本論文では、行動認識およびオンライン検出のためのフレーム対間の時間的遷移と判別的静的ポーズを共同で学習する決定木のアンサンブル、Transition Forestsを提案する。木の学習中に対になったフレーム間遷移を組み込み、推論時に過去の予測を活用することで、MSR-Action3DおよびOADデータセットで最先端の性能を達成しながら、リアルタイムの効率性を維持している。

ABSTRACT

A human action can be seen as transitions between one's body poses over time, where the transition depicts a temporal relation between two poses. Recognizing actions thus involves learning a classifier sensitive to these pose transitions as well as to static poses. In this paper, we introduce a novel method called transitions forests, an ensemble of decision trees that both learn to discriminate static poses and transitions between pairs of two independent frames. During training, node splitting is driven by alternating two criteria: the standard classification objective that maximizes the discrimination power in individual frames, and the proposed one in pairwise frame transitions. Growing the trees tends to group frames that have similar associated transitions and share same action label incorporating temporal information that was not available otherwise. Unlike conventional decision trees where the best split in a node is determined independently of other nodes, the transition forests try to find the best split of nodes jointly (within a layer) for incorporating distant node transitions. When inferring the class label of a new frame, it is passed down the trees and the prediction is made based on previous frame predictions and the current one in an efficient and online manner. We apply our method on varied skeleton action recognition and online detection datasets showing its suitability over several baselines and state-of-the-art approaches.

研究の動機と目的

• 従来の意思決定フォレストが行動認識のための時間的ダイナミクスをモデル化する点で制限を抱えているのを是正すること。
• 静的ポーズと時間的遷移を共同で学習することで、フレームレベルの行動予測のロバスト性を向上させること。
• 推論プロセスに過去の予測を統合することで、リアルタイムかつオンラインの行動検出を可能にすること。
• 木の層内で分類と遷移の識別を同時に最適化する学習手順を開発すること。
• 手作業で特徴を設計する必要もなく、再帰的アーキテクチャに依存せず、長距離の時間的依存関係を捉えながらも、計算複雑性を低く保つこと。

提案手法

• 本手法は、ノード分割の段階でフレーム分類と対となるフレーム間遷移の識別を交互に最適化するランダム化された意思決定ツリーのアンサンブルを用いる。
• 木の成長は、各層において類似した遷移とラベルを持つフレームを繰り返しグループ化することで、遠く離れた時間的依存関係を捉える。
• 各ノードは、標準的な分類目的か、提案された遷移ベースの基準のどちらかをランダムに割り当てられ、静的および動的特徴の共同学習を可能にする。
• 推論時には、過去のフレーム予測に条件づけてオンラインでフレーム予測を行うことで、リアルタイム処理を実現する。
• 本手法はRJP（相対関節位置）表現を用い、行動開始/終了検出にそれぞれβs = 0.79およびβe = 0.16のしきい値を適用する。
• フレームレベルの精度と遷移ベースの識別をバランスさせる共同目的関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 静的ポーズと時間的遷移の共同学習は、フレームレベルの行動認識性能を向上させることができるか？
• RQ2 木の学習中に対フレーム遷移を組み込むことで、ロバスト性と一般化性能にどのような影響を与えるか？
• RQ3 意思決定フォレストベースの手法は、高い精度を維持しながらリアルタイムのオンライン行動検出を達成できるか？
• RQ4 推論時に過去の予測を組み込むことで、標準的なオンライン手法と比較して時間的モデリングが向上するか？
• RQ5 提案された学習手順は、従来の手法と比較して、長距離の時間的ダイナミクスをどれほど効果的に捉えられるか？

主な発見

• Transition Forestsは、MSR-Action3Dデータセットで平均94.57％の精度を達成し、すべてのベースラインおよび最先端のJCR-RNN手法を上回った。
• OADデータセットでは、全体のF1スコアが0.712に達し、すべてのベースラインおよびSOTAのJCR-RNNモデルを上回った。
• 平均3200フレームのシーケンスあたり1.84秒というリアルタイムの推論を維持しており、RNNベースのベースラインと比べて顕著に高速であった。
• RFおよびPCRFベースラインを上回ったことから、静的および遷移特徴の共同学習の有効性が示された。
• 過去の予測を推論に組み込むことで、特に高精度な行動境界検出においてロバスト性が向上した。
• OADデータセットでは、開始フレーム検出で0.514、終了フレーム検出で0.527のF1スコアを達成し、以前の手法を上回った。