[論文レビュー] Temporal Recurrent Networks for Online Action Detection

Mingze Xu, Mingfei Gao+3 more|arXiv (Cornell University)|Nov 18, 2018

Human Pose and Action Recognition参考文献 46被引用数 17

ひとこと要約

本稿では、オンライン行動検出のための新たなエンド・ツー・エンドフレームワークである時系列再帰ネットワーク（TRN）を提案する。TRNは、現在の行動認識を向上させるために、歴史的な動画文脈と予測された将来の行動状態を同時にモデル化する。訓練プロセスに将来予測を組み込むことで、より判別性の高い表現を学習し、HDD、TVSeries、THUMOS'14データセットにおいて最先端の性能を達成する。特に、早期行動検出段階での性能向上が顕著である。

ABSTRACT

Most work on temporal action detection is formulated as an offline problem, in which the start and end times of actions are determined after the entire video is fully observed. However, important real-time applications including surveillance and driver assistance systems require identifying actions as soon as each video frame arrives, based only on current and historical observations. In this paper, we propose a novel framework, Temporal Recurrent Network (TRN), to model greater temporal context of a video frame by simultaneously performing online action detection and anticipation of the immediate future. At each moment in time, our approach makes use of both accumulated historical evidence and predicted future information to better recognize the action that is currently occurring, and integrates both of these into a unified end-to-end architecture. We evaluate our approach on two popular online action detection datasets, HDD and TVSeries, as well as another widely used dataset, THUMOS'14. The results show that TRN significantly outperforms the state-of-the-art.

研究の動機と目的

• 監視やドライバー支援などのアプリケーションにおいて、テスト時に現在と過去のフレームしか利用できないリアルタイムのオンライン行動検出の課題に対処すること。
• 訓練時に将来の行動予測を明示的にモデル化することで、オンライン設定における現在の行動認識性能が向上するかどうかを調査すること。
• 歴史的証拠と予測された将来情報の両方を活用して、より良い時系列行動検出を実現する統合的でエンド・ツー・エンドのディープラーニングフレームワークを構築すること。
• 本手法の有効性を早期行動検出および行動予測の観点から評価し、検出を超えた汎用性を示すこと。

提案手法

• TRNは、歴史的な動画フレームを処理し、同時に将来の行動を予測する二重ブランチの再帰的アーキテクチャを用い、両ストリームを統合された表現に統合する。
• モデルは、過去と未来の両方の文脈における長距離時系列依存性を符号化するために、ゲート付き再帰ユニット（GRUs）を用いた時系列再帰ネットワークを採用する。
• 将来の行動予測は、別個のデコーダーヘッドを介して将来の時間ステップの行動予測を生成し、その後、現在の行動認識を改善するために使用される。
• 本フレームワークは、現在の行動検出と将来の行動予測の両タスクを最適化するための統合損失関数を用いてエンド・ツー・エンドで訓練される。
• 本手法は汎用的であり、視覚的および非視覚的センサデータを含むマルチモーダル入力をサポートしており、HDDドライブデータセットを用いた実証で示されている。
• 予測には固定された未来ステップ数（例：2秒）が使用され、データセット全体で最適なパフォーマンスを得るためにハイパーパrameterが調整されている。

実験結果

リサーチクエスチョン

• RQ1 訓練時に将来の行動を予測することで、リアルタイム設定におけるオンライン行動検出の精度が向上するか？
• RQ2 将来の予測を認識プロセスに組み込むことで、進行中の行動のより強固で判別性の高い表現が得られるか？
• RQ3 行動のわずかな部分（特に早期検出状況）しか観測されていない場合、モデルの性能はいかがなっているか？
• RQ4 オンライン検出のために訓練された同じアーキテクチャが、行動予測タスクにおいても優れた性能を発揮できるか？

主な発見

• TVSeriesデータセットにおいて、TRNは同じ評価プロトコル下で前回の最先端手法（75.1%）を大きく上回るcAP 75.7%を達成した。
• HDDデータセットでは、TRNが同じベンチマークで39.9%の前回の最先端を上回るcAP 40.8%を達成した。
• TRNは早期行動検出段階で顕著な向上を示し、TVSeriesにおいては、100%の観測時で6.5%の性能差、10%の観測時で11.8%の差を示した。
• 行動予測においては、THUMOS’14でmAP 38.9%、HDDで2秒の将来ウィンドウで32.2%を達成し、先行手法を上回った。
• 異なるデコーダーステップ数に対してもモデルは強い性能を維持しており、HDDではℓd = 6、TVSeriesおよびTHUMOS’14ではℓd = 8で最適な結果が得られた。
• アブレーションでは、将来ステップ数を一定以上に増やすとノイズの影響により性能が低下することが示され、予測精度とのトレードオフが存在することが明らかになった。