[論文レビュー] Out-of-Distribution Representation Learning for Time Series Classification

Lu Wang, Jindong Wang+3 more|arXiv (Cornell University)|Sep 15, 2022

Time Series Analysis and Forecasting被引用数 11

ひとこと要約

本稿では、時間系列分類のための分布外（OOD）表現学習フレームワーク「Diversify」を提案する。このフレームワークは、敵対的最小最大化訓練プロセスを通じて、潜在的な部分分布を同定する。学習された部分ドメイン間の分布ギャップを最大化すると同時に、それらの間の乖離を最小化することで、7つの多様な時間系列データセットにおいて、最先端のOOD一般化性能を達成し、特にデータが乏しく、変動が激しい状況下でも、既存のベースラインを顕著に上回る。

ABSTRACT

Time series classification is an important problem in real world. Due to its non-stationary property that the distribution changes over time, it remains challenging to build models for generalization to unseen distributions. In this paper, we propose to view the time series classification problem from the distribution perspective. We argue that the temporal complexity attributes to the unknown latent distributions within. To this end, we propose DIVERSIFY to learn generalized representations for time series classification. DIVERSIFY takes an iterative process: it first obtains the worst-case distribution scenario via adversarial training, then matches the distributions of the obtained sub-domains. We also present some theoretical insights. We conduct experiments on gesture recognition, speech commands recognition, wearable stress and affect detection, and sensor-based human activity recognition with a total of seven datasets in different settings. Results demonstrate that DIVERSIFY significantly outperforms other baselines and effectively characterizes the latent distributions by qualitative and quantitative analysis. Code is available at: https://github.com/microsoft/robustlearn.

研究の動機と目的

• 時間の経過に伴い動的に分布が変化する時間系列分類における、分布外（OOD）一般化の課題に対処すること。
• 通常、時間系列では入手不可能な、既知のドメインラベルに依存する既存のOOD手法の限界を克服すること。
• 単一の時間系列データセット内に存在する未知の潜在分布を同定・特徴化することで、一般化表現を学習すること。
• 明示的なドメインアノテーションを必要としない自己教師あり、エンドツーエンドで訓練可能なフレームワークを構築すること。
• 時間系列データ内の内部的分布シフトを明示的にモデル化することで、未観測の分布に対するモデルの頑健性を向上させること。

提案手法

• 時間系列OOD学習を最小最大化敵対的ゲームとして定式化：潜在的部分ドメイン間の分布ギャップを最大化（最悪ケース）すると同時に、それらの間の乖離を最小化する。
• 疑似ドメイン・クラスラベルと敵対的自己教師あり疑似ラベリングを導入し、真のドメインラベルが存在しない状況下でも、潜在的部分分布を学習する。
• 二重ストリームアーキテクチャを採用。一方のストリームは敵対的訓練により部分分布を同定し、他方のストリームはドメイン不変表現を学習する。
• 分布の乖離損失（例：MMD または DANN スタイル）を用いて、同定された部分ドメイン間で表現を整合化する。
• スライディングウインドウ技術を適用し、生の時間系列をモデル処理用の固定サイズの入力インスタンスに変換する。
• 分類用のクロスエントロピー損失とOOD一般化のための分布正則化を組み合わせ、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 1人の個人から得た単一の時間系列データセット内にも、潜在的部分分布が存在しうるのか。また、ドメインラベルが存在しない状況下でも、それらを効果的に同定できるのか。
• RQ2 分布ギャップを最悪ケースで最大化すると同時に乖離を最小化する敵対的最小最大化訓練戦略は、時間系列におけるOOD一般化を向上させるのか。
• RQ3 未知の分布シフトが生じる多様な時間系列ベンチマークにおいて、Diversifyは既存のドメイン一般化およびOOD手法を上回る性能を示すのか。
• RQ4 Diversifyは異なるモデルアーキテクチャに一般化可能であり、データが乏しく、分布の多様性が高い状況下でも頑健性を保つのか。
• RQ5 Diversifyの設計は、分布の頑健性と表現学習の観点から、理論的に正当化されるのか。

主な発見

• Diversifyは、ジェスチャー認識、音声コマンド、ウェアラブルストレス検出、ヒューマンアクティビティ認識を含む7つの多様な時間系列データセットにおいて、すべてのベースラインを顕著に上回る。
• CNN や Transformer を含む複数のバックボーンアーキテクチャにおいても、一貫したOOD性能向上を達成しており、アーキテクチャの頑健性を示している。
• 単一の人物からの時間系列データですら、複数の潜在的分布を含んでおり、Diversifyはそれらを効果的に同定し、一般化性能の向上に活用している。
• 定量的評価では、Diversifyが、特にデータが少ない状況や高多様性の状況下で、最先端の手法よりも高い精度を達成していることが示された。
• アブレーションスタディの結果、敵対的最小最大化機構が性能向上に不可欠であり、最悪ケース分布の最大化が頑健性の鍵を握っていることが確認された。
• 定性的な分析から、Diversifyは真のドメインラベルが存在しない状況下でも、意味のある部分分布にデータを効果的にクラスタリングしていることが判明しており、潜在的分布の分割を可視化した結果からもその有効性が裏付けられた。