[論文レビュー] Temporal Domain Generalization with Drift-Aware Dynamic Neural Networks

Guangji Bai, Ling Chen+1 more|arXiv (Cornell University)|May 21, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

本稿では、時間的ドメイン一般化のためのドリフトに配慮した動的ニューラルネットワーク、DRAINを提案する。この手法はベイジアンフレームワークと再帰的グラフ生成を用いて、変化するデータおよびモデルのダイナミクスをモデル化し、時間的変化するドメインの逐次的モデリングによりコンセプトドリフトを捉えることで、最先端の性能を達成する。不確実性と一般化誤差に関する理論的保証を備え、時間的シフトを示す実世界のベンチマークでも既存手法を上回る性能を発揮する。

ABSTRACT

Temporal domain generalization is a promising yet extremely challenging area where the goal is to learn models under temporally changing data distributions and generalize to unseen data distributions following the trends of the change. The advancement of this area is challenged by: 1) characterizing data distribution drift and its impacts on models, 2) expressiveness in tracking the model dynamics, and 3) theoretical guarantee on the performance. To address them, we propose a Temporal Domain Generalization with Drift-Aware Dynamic Neural Network (DRAIN) framework. Specifically, we formulate the problem into a Bayesian framework that jointly models the relation between data and model dynamics. We then build a recurrent graph generation scenario to characterize the dynamic graph-structured neural networks learned across different time points. It captures the temporal drift of model parameters and data distributions and can predict models in the future without the presence of future data. In addition, we explore theoretical guarantees of the model performance under the challenging temporal DG setting and provide theoretical analysis, including uncertainty and generalization error. Finally, extensive experiments on several real-world benchmarks with temporal drift demonstrate the effectiveness and efficiency of the proposed method.

研究の動機と目的

• データ分布が時間とともに変化する状況における時間的ドメイン一般化の課題に対処すること。従来のドメイン一般化手法では不十分である。
• ドメインをカテゴリーとして扱うか、連続的なコンセプトドリフトをモデル化できない既存手法の限界を克服すること。
• 将来の時系列ポイントにおけるモデルの挙動を予測できるフレームワークの開発。将来のデータは必要としない。
• 時間的分布シフト下での不確実性と一般化誤差の境界を理論的に保証することで、モデルの理論的頑健性を確保すること。
• 時間とともに変化する動的グラフとしてのニューラルネットワークパラメータをモデル化することで、モデルの表現力を向上させること。

提案手法

• 時間的ドメイン一般化をベイジアン問題として定式化し、データ分布のドリフトとモデルパラメータのダイナミクスを同時にモデル化する。
• 時間的変化するニューラルネットワーク構造を逐次ドメインから学習する再帰的グラフ生成機構を構築する。
• スケップ接続を備えた逐次学習モジュールを用いて、ドメイン間で長距離の時系列依存関係を保持する。
• ノードおよびエッジ特徴量が時間とともに変化する動的グラフとしてニューラルネットワークをモデル化し、パラメータドリフトを捉える。
• 不確実性の定量化と一般化誤差の分析をフレームワークに統合し、理論的保証を提供する。
• 変分推論を用いてモデルパラメータおよびグラフ構造の事後分布を最適化するエンドツーエンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 機械学習タスクにおいて、時間とともに連続的に変化するデータ分布のコンセプトドリフトを効果的にモデル化・予測するにはどうすればよいか？
• RQ2 時間的分布シフトがモデルの一般化に与える影響は何か？ そして、その結果生じる一般化誤差を理論的に境界づけるにはどうすればよいか？
• RQ3 時間とともに変化する動的ニューラルネットワークアーキテクチャは、静的またはカテゴリー化されたドメイン一般化手法に比べ、時間的設定で優れた性能を発揮できるか？
• RQ4 スケップ接続と再帰的モデリングを組み込むことで、逐次的ドメイン一般化における長距離の時系列依存関係学習はどのように向上するか？
• RQ5 将来の未観測時系列ポイントにおける最適パラメータを、将来データにアクセスせずに過去のデータから学習したモデルがどの程度まで予測できるか？

主な発見

• DRAINは、時間的ドメイン一般化ベンチマークで最先端の性能を達成し、2-Moonsデータセットではテスト誤差が3.2 ± 1.2を記録。RNNモジュールを除去した場合、次に優れた手法（7.1 ± 1.3）を著しく上回る。
• アブレーションスタディでは、逐次学習モジュールを除去（✗ RNN）すると2-Moonsで誤差が15.3%増加し、時系列モデリングの重要性が明確に示された。
• スケップ接続モジュールは性能に顕著な寄与を示しており、これを除去（✗ Skip.C）すると2-Moonsで誤差が4.4%増加し、長距離依存関係学習の向上が裏付けられた。
• 感度分析から、2-Moonsでは2層が最適なネットワーク深さであり、Electricデータセットでは1層が最適であることが判明。過学習やアンダーフィットのため、より深いまたは浅いアーキテクチャでは性能が低下した。
• 定性的な可視化により、DRAINは時間経過に伴う意思決定境界の回転を正しく捉えていることが確認された。一方、静的または不変なベースライン手法はコンセプトドリフトに適応できず失敗した。
• 理論的分析により、不確実性と一般化誤差の境界が得られ、DRAINが時間的分布シフト下でも頑健であることが裏付けられた。