[論文レビュー] ASFormer: Transformer for Action Segmentation

Fangqiu Yi, Hongyu Wen+1 more|arXiv (Cornell University)|Oct 16, 2021

Human Pose and Action Recognition参考文献 52被引用数 61

ひとこと要約

ASFormer は 局所的結合性、階層表現、そして アクションセグメンテーションのための洗練されたデコーダを備えた Transformer ベースのモデルを導入し、3つの公開データセットで最先端の成果を達成します。

ABSTRACT

Algorithms for the action segmentation task typically use temporal models to predict what action is occurring at each frame for a minute-long daily activity. Recent studies have shown the potential of Transformer in modeling the relations among elements in sequential data. However, there are several major concerns when directly applying the Transformer to the action segmentation task, such as the lack of inductive biases with small training sets, the deficit in processing long input sequence, and the limitation of the decoder architecture to utilize temporal relations among multiple action segments to refine the initial predictions. To address these concerns, we design an efficient Transformer-based model for action segmentation task, named ASFormer, with three distinctive characteristics: (i) We explicitly bring in the local connectivity inductive priors because of the high locality of features. It constrains the hypothesis space within a reliable scope, and is beneficial for the action segmentation task to learn a proper target function with small training sets. (ii) We apply a pre-defined hierarchical representation pattern that efficiently handles long input sequences. (iii) We carefully design the decoder to refine the initial predictions from the encoder. Extensive experiments on three public datasets demonstrate that effectiveness of our methods. Code is available at \url{https://github.com/ChinaYi/ASFormer}.

研究の動機と目的

• 小規模データセットでの効果的な時間的モデリングを必要とする、フレームごと・長いシーケンス予測タスクとしてアクションセグメンテーションを動機づける。
• バニラ Transformer を適用する際の3つの重要な課題（帰納的バイアスの欠如、長い入力シーケンスの取り扱いの難しさ、アクションセグメント間の初期予測の洗練）に対処する。
• 局所的結合性の事前仮定、事前定義された階層表現パターン、そして予測を反復的に洗練する新しい cross-attention デコーダを備えた ASFormer を提案する。
• 複数の公開データセットでの有効性をデモンストレーションし、アブレーションを分析して設計選択を正当化する。

提案手法

• エンコーダのフィードフォワード経路に膨張型時系列畳み込みを組み込み、局所的な帰納的バイアスを注入する。
• 層を跨いで自己注意を徐々に大きな局所ウィンドウに制限することで階層的表現パターンを付与する。
• エンコーダの特徴空間を乱さずに予測を洗練するため、クロス・アテンションに基づくデコーダを使用する。
• 外部（エンコーダ）情報の影響を指数関数的に低減させつつ、反復的な洗練を行うために複数のデコーダを採用する。
• フレームごとのクロスエントロピーと時間滑らかさ項を結合した損失で学習し、安定した予測を促進する。

実験結果

リサーチクエスチョン

• RQ1 長い動画シーケンスと小さな学習データセットを持つアクションセグメンテーションに Transformer モデルを適応させるにはどうすればよいか？
• RQ2 局所からグローバルへと階層的アテンションパターンを適用することで、長いシーケンスに対する学習効率と性能は向上するか？
• RQ3 クロスアテンションデコーダが、アクションセグメント間の時間的関係を活用しつつ、エンコーダ予測を効果的に洗練できるか？
• RQ4 複数のデコーダと時系列畳み込みを使用することが、セグメンテーション精度と滑らかさに与える影響はどの程度か？

主な発見

• ASFormer は3つの公的なアクションセグメンテーションデータセット（50Salads、GTEA、Breakfast）で最先端の成果を達成します。
• 時系列畳み込みによる局所的結合性帰納バイアスは、MLP ベースのフィードフォワード層と比較して性能を著しく向上させます。
• 事前定義された階層型アテンションパターンは、長いシーケンスにおいて非階層的で自由に注意する Transformer より顕著に優れています。
• 複数のデコーダは反復的な洗練を通じて顕著な改善をもたらし、実験では3つのデコーダが最良の結果を示しました。
• 位置エンコーディングを省略し、単一ヘッドの自己注意を使用することは、時系列畳み込みの助けを借りて ASFormer にとって効果的な選択です。
• ASFormer バックボーンは既存のパイプラインにおいて MS-TCN の代替として性能を向上させることができる（ASRF* の結果）。