[論文レビュー] Meta-Learning Dynamics Forecasting Using Task Inference

Rui Wang, Robin Walters+1 more|arXiv (Cornell University)|Feb 20, 2021

Hydrological Forecasting Using AI参考文献 64被引用数 5

ひとこと要約

本稿では、時間不変なタスク特徴をエンコーダーを用いて推論し、適応的インスタンス正規化（AdaIN）と適応的パディングを用いてフォーキャスタを適応させることで、異種の物理的システムにわたる動的予測の一般化を実現するモデルベースのメタラーニングフレームワークDyAdを提案する。時間系列データからラベル付きサポートセットを必要とせずにタスク固有の潜在特徴を推論し、弱い監督信号（例：浮力、レイノルズ数）を用いて時間不変なシステム特性の分離表現学習を促進することで、乱流、海面水温、海流予測において最先端性能を達成し、再訓練なしに高速な推論を可能にする。

ABSTRACT

Current deep learning models for dynamics forecasting struggle with generalization. They can only forecast in a specific domain and fail when applied to systems with different parameters, external forces, or boundary conditions. We propose a model-based meta-learning method called DyAd which can generalize across heterogeneous domains by partitioning them into different tasks. DyAd has two parts: an encoder which infers the time-invariant hidden features of the task with weak supervision, and a forecaster which learns the shared dynamics of the entire domain. The encoder adapts and controls the forecaster during inference using adaptive instance normalization and adaptive padding. Theoretically, we prove that the generalization error of such procedure is related to the task relatedness in the source domain, as well as the domain differences between source and target. Experimentally, we demonstrate that our model outperforms state-of-the-art approaches on both turbulent flow and real-world ocean data forecasting tasks.

研究の動機と目的

• 深層学習モデルの動的予測における一般化性能の低さに起因する、各新しいシステムに対して再訓練を要するという問題に対処すること。
• 異なるパラメータ、境界条件、外部力を持つ多様な物理的システム間でのゼロショット一般化を可能にすること。
• ラベル付きサポートセットを必要とせず、時間系列データからタスク固有の潜在特徴を推論するメタラーニングフレームワークの開発。
• 浮力やレイノルズ数などの弱い監督信号を用いて、時間不変なシステム特性の分離表現学習をガイドすること。
• ソースドメインおよび未学習のターゲットへのドメイン適応における一般化誤差に関する理論的保証を提供すること。

提案手法

• 本フレームワークは2つのコンponentから構成される：時間系列データから時間不変な隠れ特徴 $z_c$ を推論するエンコーダー $g$ と、$z_c$ と過去の状態を用いて将来の状態を予測するフォーキャスタ $f$ である。
• エンコーダーは時間シフト不変なアーキテクチャを採用し、3つの損失項（タスクパラメータ監督損失 $\mathcal{L}_{\text{sup}}$、時間不変特徴損失 $\mathcal{L}_{\text{time-inv}}$、マグニチュード損失 $\mathcal{L}_{\text{mag}}$）を用いて訓練され、分離された、ロバストな表現を保証する。
• フォーカスタに $z_c$ を条件付けするために適応的インスタンス正規化（AdaIN）が用いられ、異なるシステムの動的特性に応じてネットワーク統計を動的に適応可能にする。
• 境界条件の変動に対応するため、$z_c$ を基にパディング戦略を学習する新しいアーキテクチャである適応的パディング層（AdaPad）が導入され、未学習のドメインシフトへの一般化性が向上する。
• フォーカスタは、エンコーダーと共同で多様な力学的システム上でエンドツーエンドに訓練されるが、推論はフォーカスタを固定し、テスト時にエンコーダーで $z_c$ を推論することで実行される。
• 本手法により、クエリ入力から直接 $z_c$ を推論することで再訓練なしに高速な推論が可能となり、新規システムへの実世界での展開に適している。

実験結果

リサーチクエスチョン

• RQ1 浮力や粘性係数などのシステムパラメータが異なる場合でも、再訓練なしに異種の力学的ダイナミクスに一般化できるメタラーニングフレームワークは存在するか？
• RQ2 既知のレイノルズ数や渦度などの弱い監督信号は、動的予測における時間不変なシステム特徴の分離にどの程度有効か？
• RQ3 AdaIN や AdaPad のようなアーキテクチャ的コンponentが、多様な力学的システムにおけるモデルの一般化性とロバストネスに与える影響は何か？
• RQ4 マグニチュード損失や時間不変特徴損失といった、訓練における重要なコンponentを省いた場合、モデル性能はどの程度低下するか？
• RQ5 ラベル付きサポートセットを一切用いずに、生の時間系列データからのみタスクの識別をエンコーダーが行えるか、その程度はいかほどか？

主な発見

• DyAdは乱流データセットにおいて、将来予測のRMSEが0.42、ドメイン一般化ベンチマークでは0.51を達成し、すべてのベースラインを上回る性能を示した。
• エンコーダーを削除した場合（No_enc）は性能が低下するが、ResNetを上回る結果を示し、適応的正規化とパディングの価値を裏付けた。
• AdaINによる特徴注入が最良の性能（RMSE 0.42）を達成し、連結、バイアス注入、カーネルモodulationなどの代替手法を顕著に上回った。
• アブレーションスタディの結果、3つのエンコーダー損失（監督、時間不変性、マグニチュード）のいずれかを省いた場合も性能が低下し、それらが必須であることが確認された。
• エンコーダーとフォーカスタを共同で訓練する（End2End）と、分離した訓練よりも性能が劣り、ドメイン分割とタスク固有の特徴学習の重要性が裏付けられた。
• 訓練分布外の未学習のタスクに対しても、浮力要因 $c = 5, 15, 25$ の流れを含め、効果的な一般化が可能であることが示され、ドメインシフトに対するロバストネスが確認された。