[論文レビュー] Temporal Convolutional Networks: A Unified Approach to Action Segmentation

Colin Lea, Renè Vidal+2 more|arXiv (Cornell University)|Aug 29, 2016

Human Pose and Action Recognition参考文献 14被引用数 17

ひとこと要約

本稿では、1次元畳み込み、プーリング、チャネル別正規化を用いて、動画およびセンサデータにおけるアクティビティセグメンテーションのための階層的で低レベル・中レベル・高レベルの時間的関係を捉える統合的深層学習フレームワーク、Temporal Convolutional Networks (TCN) を提案する。TCNは、50 Salads、GTEA、JIGSAWSの3つの公的データセットにおいて、SOTAまたは競争力のある性能を達成するとともに、RNNベースのモデルと比較して最大60倍速い学習速度を実現する。

ABSTRACT

The dominant paradigm for video-based action segmentation is composed of two steps: first, for each frame, compute low-level features using Dense Trajectories or a Convolutional Neural Network that encode spatiotemporal information locally, and second, input these features into a classifier that captures high-level temporal relationships, such as a Recurrent Neural Network (RNN). While often effective, this decoupling requires specifying two separate models, each with their own complexities, and prevents capturing more nuanced long-range spatiotemporal relationships. We propose a unified approach, as demonstrated by our Temporal Convolutional Network (TCN), that hierarchically captures relationships at low-, intermediate-, and high-level time-scales. Our model achieves superior or competitive performance using video or sensor data on three public action segmentation datasets and can be trained in a fraction of the time it takes to train an RNN.

研究の動機と目的

• 従来の2段階のパラダイムが、低レベルの特徴抽出と高レベルの時間的モデリングを分離しているという限界を是正すること。
• 1つの深層学習アーキテクチャを用いて、複数の時間スケールにわたる空間時間的特徴を統合的にモデリングすること。
• RNNベースのモデルと比較して、著しく短い学習時間でアクティビティセグメンテーションタスクの性能を向上させること。
• 動画およびエゴセントリックセンサデータを含む多様なモダリティにわたって、強固なアクティビティセグメンテーションを可能にすること。
• 1次元畳み込みによる階層的時間的モデリングが、長距離依存性を捉える際にRNN や CRF を上回る、または同等の性能を発揮できることを示すこと。

提案手法

• TCNは、1次元畳み込み、プーリング、チャネル別正規化を用いたエンコーダ・デコーダアーキテクチャを採用し、階層的な時間的表現を学習する。
• 各層は、時間ステップにわたる特徴の時間的変化をモデル化するため、学習可能な重みを持つ1次元畳み込みフィルタを適用する。
• プーリング層を用いて、複数スケールにわたる長距離時間的パターンを効率的にダウンサンプリングして捉える。
• チャネル別正規化を適用することで、訓練の安定性を向上させ、環境条件の変化に強い性能を実現する。
• 各フレームからの生データまたはCNNでエンコードされた特徴を処理し、時間的整合性を持つフレームごとのアクティビティ予測を出力する。
• 標準的なバックプロパゲーションを用いてエンド・ツー・エンドで学習され、逐次的再帰が不要となり、並列計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 RNN や CRF に依存せずに、統合的深層学習フレームワークが、アクティビティセグメンテーションにおける多スケール時間的依存性を効果的にモデル化できるか。
• RQ2 1次元畳み込みによる階層的時間的モデリングは、従来の2段階アプローチと比較して、精度と学習効率の面でどのように異なるか。
• RQ3 TCNが生センサまたは動画特徴から、意味的な時間的シフトや長距離パターンをどの程度学習できるか。
• RQ4 TCNが再帰接続を明示的に使用しないことで、RNNと比較して一般化性能が向上するか、または過剰セグメンテーションが減少するか。
• RQ5 TCNが動画やエゴセントリック加速度計などの異なるセンシングモダリティに一般化可能で、一貫した性能を発揮できるか。

主な発見

• 50 Salads データセットでは、センサデータを用いて65.6のエディットスコアと82.0%の正解率を達成し、LSTM（54.5エディット、73.3%正解率）および LC-SC-CRF（50.2エディット、77.8%正解率）を上回った。
• GTEA データセットでは、動画データを用いて58.8のエディットスコアと66.1%の正解率を達成し、ST-CNN（53.4エディット、64.5%正解率）を上回り、既存のSOTA手法と同等またはそれを上回った。
• JIGSAWS データセットでは、センサデータを用いて85.8のエディットスコアと79.6%の正解率を達成し、双方向LSTM（81.1エディット、83.3%正解率）および他のベースラインを上回った。
• Nvidia Titan X を用いて、1スプリットあたり約1分で学習が完了した一方、RNN-LSTMは約1時間かかっており、学習時間で最大60倍の高速化を達成した。
• 可視化の結果、TCNの層が時間的オフセットを学習していることが判明し、生のセンサ入力だけでは区別が難しいアクティビティを区別できる能力を有していることが示された。
• 明示的な再帰構造やCRFベースの遷移モデリングを用いていないにもかかわらず、すべてのデータセットで顕著に高いエディットスコアを示し、過剰セグメンテーションが抑制されていることが裏付けられた。