[論文レビュー] WOODS: Benchmarks for Out-of-Distribution Generalization in Time Series

Jean-Christophe Gagnon-Audet, Kartik Ahuja+4 more|arXiv (Cornell University)|Mar 18, 2022

Time Series Analysis and Forecasting被引用数 9

ひとこと要約

WOODSは、動画、脳波信号、センサデータをカバーする10種類の多様な時系列データセットを用いたベンチマークを提示し、分布外（OOD）一般化を研究する。著者らは時系列データに適したOODアルゴリズムを適応させ、体系的に評価し、分布内とOODの設定における顕著な性能差を示した—これは、経験的リスク最小化と既存手法を用いた時系列OOD一般化において、依然として解決されていない大きな課題を浮き彫りにしている。

ABSTRACT

Machine learning models often fail to generalize well under distributional shifts. Understanding and overcoming these failures have led to a research field of Out-of-Distribution (OOD) generalization. Despite being extensively studied for static computer vision tasks, OOD generalization has been underexplored for time series tasks. To shine light on this gap, we present WOODS: eight challenging open-source time series benchmarks covering a diverse range of data modalities, such as videos, brain recordings, and sensor signals. We revise the existing OOD generalization algorithms for time series tasks and evaluate them using our systematic framework. Our experiments show a large room for improvement for empirical risk minimization and OOD generalization algorithms on our datasets, thus underscoring the new challenges posed by time series tasks. Code and documentation are available at https://woods-benchmarks.github.io .

研究の動機と目的

• 静的画像認識分野と比較して著しく未開拓である時系列分野における、分布外（OOD）一般化のための標準化されたベンチマークの欠如という深刻な課題に対処する。
• 特に分布シフト下での応用において、既存のOOD一般化アルゴリズムの失敗モードを特定・定量化する。
• 時系列タスクにおけるOOD一般化アルゴリズムの一貫したベンチマーク評価を可能にする体系的な評価フレームワークを構築する。
• 時系列データが有する特徴的課題—時間的依存性や多様なモダリティ—が、静的画像タスクとどのように異なるかを強調する。
• 研究の加速を図るため、データセット、コード、ドキュメンテーションをオープンソースで提供する。

提案手法

• 3つの合成データセットと7つの実世界データセットを含む、10の時系列データセットからなるベンチマーク「WOODS」を提案。モダリティは動画、EEG、スマートデバイスセンサ、エネルギー信号など多様。
• さまざまな分布シフトに対応するための体系的な評価フレームワークを設計。合成データと実世界データの両方に適した、モデル選択戦略を含む。
• 時系列データの時間的構造を尊重するよう、アーキテクチャと損失関数を変更することで、既存のOOD一般化アルゴリズム（分布シフトに配慮した手法、不変リスク最小化など）を時系列に適応。
• 2種類の異なるモデル選択プロトコルを実装：相関シフトを伴う合成データセットではテストドメイン検証を、実世界データセットではテストデータへの過学習を避けるためにオラクルトレインドメイン検証を採用。
• 対照的学習やドメイン敵対的訓練を含む、ドメイン不変表現学習技術を時系列データに適用し、ドメイン間での一般化を促進。
• ドメイン固有のデータ分割を用いて分布シフトをシミュレートし、OOD性能が訓練時に見られなかった真正の分布外ドメインで評価されるようにする。

実験結果

リサーチクエスチョン

• RQ1 既存のOOD一般化アルゴリズムは、静的画像と比較して時系列データにおいてどの程度の性能を示すか？
• RQ2 実世界の時系列データにおいて、最も一般的で困難な分布シフトの種類は何か？
• RQ3 経験的リスク最小化（ERM）は、時系列データにおけるOOD設定下でどの程度性能が低下するか、一般化ギャップの大きさはどの程度か？
• RQ4 テストデータがトレーニング中に入手不可である場合、OOD一般化において最も効果的なモデル選択戦略は何か？
• RQ5 現在のOOD手法は、多様なモダリティとシフトタイプを有する時系列ベンチマークにおいて、性能低下をどの程度緩和できるか？

主な発見

• 経験的リスク最小化（ERM）はWOODSベンチマークで顕著な一般化ギャップを示し、TCM Timeデータセットでは最大79.3ポイントの性能低下を記録した。
• Spur.-Fourier合成データセットでは、ERMは分布内での正確度が74.5%であったが、OODではわずか9.8%に低下し、誤った相関に強く依存していることが示された。
• 時系列データにおける既存のOOD一般化アルゴリズムは、ERMに対する改善が限定的で、データセット間で一貫性に欠け、時系列固有のシフトに対しては現在の手法が頑健でないことが示された。
• 最先端のOOD手法ですら、実世界の時系列データ（例：LSA64データセット）では一般化ギャップを埋めきれておらず、ID性能86.6%からOOD性能が53.4%に低下した。
• IEMOCAPデータセットでは、OODシフト下で11.4ポイントの性能低下が観察され、感情認識モデルが時間的音声パターンの分布シフトに対して脆弱であることが示された。
• 相関シフトを伴う合成データセットではテストドメイン検証が有効であったが、実世界データでは早期停止の指針が欠如しているため失敗した。一方、オラクルトレインドメイン検証は実世界ベンチマークにおいてより信頼性が高いことが示された。