[論文レビュー] MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation

Shijie Li, Yazan Abu Farha+3 more|arXiv (Cornell University)|Jun 16, 2020

Human Pose and Action Recognition被引用数 15

ひとこと要約

本稿では、広い受容 field を持つ空洞畳み込みを用いて段階的な予測を精緻化することで、アクションセグメンテーションを向上させる MS-TCN++ というマルチステージ時系列畳み込みネットワークを提案する。本手法は、局所的およびグローバルなコンテキストを統合する二重空洞層（dual dilated layer）を導入し、予測段階と精緻化段階を分離することで、より洗練されたアーキテクチャ設計を可能にした。さらに、精緻化段階でのパラメータ共有を実装し、RNNベースのモデルよりも高速な学習を実現しながら、50Salads、GTEA、Breakfast データセットで最先端の性能を達成した。

ABSTRACT

With the success of deep learning in classifying short trimmed videos, more attention has been focused on temporally segmenting and classifying activities in long untrimmed videos. State-of-the-art approaches for action segmentation utilize several layers of temporal convolution and temporal pooling. Despite the capabilities of these approaches in capturing temporal dependencies, their predictions suffer from over-segmentation errors. In this paper, we propose a multi-stage architecture for the temporal action segmentation task that overcomes the limitations of the previous approaches. The first stage generates an initial prediction that is refined by the next ones. In each stage we stack several layers of dilated temporal convolutions covering a large receptive field with few parameters. While this architecture already performs well, lower layers still suffer from a small receptive field. To address this limitation, we propose a dual dilated layer that combines both large and small receptive fields. We further decouple the design of the first stage from the refining stages to address the different requirements of these stages. Extensive evaluation shows the effectiveness of the proposed model in capturing long-range dependencies and recognizing action segments. Our models achieve state-of-the-art results on three datasets: 50Salads, Georgia Tech Egocentric Activities (GTEA), and the Breakfast dataset.

研究の動機と目的

• 既存の時系列アクションセグメンテーションモデルにおける過剰セグメンテーション誤差を是正すること。
• 時空間プーリングや再帰層に依存せずに、未編集動画における長距離時系列依存性を効果的にモデル化すること。
• 初期予測段階と精緻化段階を分離することで、タスク固有のアーキテクチャ最適化を可能にすること。
• 精緻化段階でのパラメータ共有により、モデルの複雑さを低減しながら性能を維持すること。
• 高い効率性と高速性を実現しながら、複数のベンチマークで最先端の結果を達成すること。

提案手法

• 各段階が空洞 1D 畳み込みを用いて受容 field を拡大することで、パrameter 数を増加させずに予測を生成・精緻化するマルチステージアーキテクチャを採用する。
• 各層内で小規模および大規模な受容 field を統合するための二重空洞層（DDL）を導入し、局所的およびグローバルな時系列パターンを捉える。
• 最初の段階を精緻化段階から分離することで、予測生成と精緻化のタスクに特化した異なるアーキテクチャを設計可能にする。
• 過剰セグメンテーションを抑制し、予測の連続性を向上させるために、学習中にスムージング損失を適用する。
• 精緻化段階間でパラメータ共有を実装し、モデルサイズを 66% 減少させながら、性能の低下は 0.5% 以内に抑えた。
• ダウンサンプリングによる情報損失を避けるために、完全に時系列解像度を維持し、並列推論が可能な完全畳み込み型アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 マルチステージ時系列畳み込みネットワークは、アクションセグメンテーションにおける過剰セグメンテーション誤差を効果的に低減できるか？
• RQ2 モデルの複雑さを増加させずに、1層内で局所的およびグローバルな時系列コンテキストを効率的に捉える方法は何か？
• RQ3 初期予測段階のアーキテクチャを精緻化段階から分離することで、性能向上と柔軟性の向上が図れるか？
• RQ4 精緻化段階間でのパラメータ共有は、精度を損なわず、どの程度モデルサイズを縮小できるか？
• RQ5 完全畳み込み型で再帰的でないアーキテクチャは、RNNベースのモデルに比べて、速度と性能の両面で優れているか？

主な発見

• 50Salads データセットでは、フレーム単位の正確度 88.8%、F1 スコア 83.5%、エディット距離 80.1% を達成し、最先端の性能を実現した。
• GTEA データセットでは、フレーム単位の正確度 86.2%、F1 スコア 83.0%、エディット距離 79.7% を達成し、先行手法を上回った。
• Breakfast データセットでは、F1 スコア 64.1%、セグメンタル正確度 58.6%、フレーム単位の正確度 67.6% を達成し、以前の最先端を上回った。
• 50Salads で 50 エポックの学習を実行するのに、MS-TCN++ は 10 分にまで短縮されたのに対し、同等の能力を持つ Bi-LSTM では 35 分を要した。
• 精緻化段階でのパラメータ共有により、モデルサイズは 66% 減少したが、性能は非共有バージョンと 0.5% 以内の差に抑えられた。
• I3D 特徴量を用いることでわずかに高い正確度が得られたが、Breakfast データセットでは IDT 特徴量が F1 スコアをより良くした。これは、運動特徴量が同データセットにおいてより情報を含んでいることを示唆している。