[論文レビュー] Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation

Min-Hung Chen, Baopu Li+3 more|arXiv (Cornell University)|Mar 5, 2020

Human Pose and Action Recognition参考文献 46被引用数 12

ひとこと要約

本稿では、自己教師あり補助タスクとして二つのタスク—二値ドメイン予測と順序ドメイン予測—を用いて、局所的および大域的時間的ダイナミクスを同時にドメイン間で整合させる、自己教師あり時系列ドメイン適応（SSTDA）という新規手法を提案する。この手法により、最小限のラベル付きデータで効果的なアクションセグメンテーションが可能となる。SSTDAはGTEA、50Salads、Breakfastの各データセットで最先端の性能を達成し、F1@25スコアを最大9.5ポイント向上させるとともに、ラベル付きデータの必要量をベースラインの65%にまで削減した。

ABSTRACT

Despite the recent progress of fully-supervised action segmentation techniques, the performance is still not fully satisfactory. One main challenge is the problem of spatiotemporal variations (e.g. different people may perform the same activity in various ways). Therefore, we exploit unlabeled videos to address this problem by reformulating the action segmentation task as a cross-domain problem with domain discrepancy caused by spatio-temporal variations. To reduce the discrepancy, we propose Self-Supervised Temporal Domain Adaptation (SSTDA), which contains two self-supervised auxiliary tasks (binary and sequential domain prediction) to jointly align cross-domain feature spaces embedded with local and global temporal dynamics, achieving better performance than other Domain Adaptation (DA) approaches. On three challenging benchmark datasets (GTEA, 50Salads, and Breakfast), SSTDA outperforms the current state-of-the-art method by large margins (e.g. for the F1@25 score, from 59.6% to 69.1% on Breakfast, from 73.4% to 81.5% on 50Salads, and from 83.6% to 89.1% on GTEA), and requires only 65% of the labeled training data for comparable performance, demonstrating the usefulness of adapting to unlabeled target videos across variations. The source code is available at https://github.com/cmhungsteve/SSTDA.

研究の動機と目的

• 異なる個人や動画スタイルに起因する空間的・時系列的変動の影響を軽減する挑戦に応える。
• 追加のラベル付きデータを必要とせずに、こうした変動によって生じるドメイン差を低減する。
• 自己教師ありドメイン適応を用いて、ラベルなしのターゲット動画のみでアクションセグメンテーションの性能を向上させる。
• トランスductive設定において、ラベルなしのターゲットドメインに効果的にモデルを転送できるようにする。

提案手法

• 未トリムドの動画クリップにおいてドメインの順列を予測する、順序ドメイン予測という自己教師あり補助タスクを提案し、大域的時間的ダイナミクスをモデル化する。
• 各フレームがソースドメインまたはターゲットドメイン由来であるかを分類する二値ドメイン予測を導入し、局所レベルの特徴分布を整合させる。
• 両補助タスクを統合した共同敵対的訓練フレームワークを構築し、ドメイン間で局所的および大域的特徴空間を同時に整合する。
• MS-TCNに基づくアクションセグメンテーションモデルにSSTDAを統合し、敵対的損失を用いてドメイン差を最小化するとともに、アクション認識性能を維持する。
• 勾配反転層とドメイン識別器を用いて、ドメイン不変表現を実現するエンドツーエンドの学習を可能にする。
• トランスductive設定で本手法を適用し、ターゲットドメインのアノテーションなしに、ラベル付きソースドメインモデルを適応させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり補助タスクを用いて、局所的および大域的時間的ダイナミクスをモデル化することで、クロスドメインアクションセグメンテーションが向上するか？
• RQ2 局所的および大域的時間的特徴の共同整合は、単一レベルの整合よりも優れたドメイン適応を達成するか？
• RQ3 ラベルなしのターゲット動画を活用することで、ソースドメインで学習したモデルが、最小限のラベル付きデータでターゲットドメインに効果的に一般化できるか？
• RQ4 提案された順序ドメイン予測タスクは、ドメイン内順序をモデル化する既存の自己教師あり手法と比較して、どのように異なるか？

主な発見

• BreakfastデータセットにおいてSSTDAはF1@25スコア69.1%を達成し、先行研究の最良成績（59.6%）を9.5ポイント上回った。
• 50SaladsではF1@25を73.4%から81.5%に向上させ、高いクラス内変動への対処能力が顕著に示された。
• GTEAではF1@25を83.6%から89.1%に向上させ、多様な行動パターンにわたる頑健性を示した。
• 完全に教師ありのベースラインと同等の性能を、ラベル付き学習データの65%のみで達成した。これはデータ効率性の高さを示している。
• 定性的な結果から、共同整合により誤検出や誤分類（例：『ポットに注ぐ』や『ミルクをかき混ぜる』の誤検出）が減少した。
• 順序ドメイン予測は、VCOPのようなドメイン内シャッフル手法を上回る性能を示し、ドメイン間時間的推論が適応に有効であることを裏付けた。