[论文解读] Meta-Learning Dynamics Forecasting Using Task Inference

Rui Wang, Robin Walters+1 more|arXiv (Cornell University)|Feb 20, 2021

Hydrological Forecasting Using AI参考文献 64被引用 5

一句话总结

该论文提出 DyAd，一种基于模型的元学习框架，通过编码器推断时不变任务特征，并利用自适应实例归一化（AdaIN）和自适应填充（AdaPad）来适应预测器，从而在异质物理系统之间实现动力学预测的泛化。该方法通过解耦系统特异性参数并实现无需微调的快速推理，在湍流、海表温度和洋流预测任务上达到最先进性能。

ABSTRACT

Current deep learning models for dynamics forecasting struggle with generalization. They can only forecast in a specific domain and fail when applied to systems with different parameters, external forces, or boundary conditions. We propose a model-based meta-learning method called DyAd which can generalize across heterogeneous domains by partitioning them into different tasks. DyAd has two parts: an encoder which infers the time-invariant hidden features of the task with weak supervision, and a forecaster which learns the shared dynamics of the entire domain. The encoder adapts and controls the forecaster during inference using adaptive instance normalization and adaptive padding. Theoretically, we prove that the generalization error of such procedure is related to the task relatedness in the source domain, as well as the domain differences between source and target. Experimentally, we demonstrate that our model outperforms state-of-the-art approaches on both turbulent flow and real-world ocean data forecasting tasks.

研究动机与目标

• 为解决深度学习模型在动力学预测中泛化能力差的问题，这些模型通常需要为每个新系统重新训练。
• 实现在具有不同参数、边界条件和外力的多样化物理系统之间的零样本泛化。
• 开发一种元学习框架，从时间序列数据中推断特定任务的潜在特征，而无需依赖标注的支持集。
• 引入弱监督信号（如浮力、雷诺数）以指导时不变系统特性的解耦表征学习。
• 为源域和未见目标域的域自适应提供泛化误差的理论保证。

提出的方法

• 该框架由两部分组成：编码器 $g$ 从观测的时间序列数据中推断时不变隐藏特征 $z_c$，以及使用 $z_c$ 和过去状态预测未来状态的预测器 $f$。
• 编码器采用时间平移不变架构，并通过三项损失项进行训练：任务参数监督 ($\mathcal{L}_{\text{sup}}$)、时不变特征损失 ($\mathcal{L}_{\text{time-inv}}$) 和幅值损失 ($\mathcal{L}_{\text{mag}}$)，以确保解耦且鲁棒的表征。
• 采用自适应实例归一化（AdaIN）将 $z_c$ 条件化注入预测器，实现网络统计对不同系统动力学的动态适应。
• 引入一种新型自适应填充层（AdaPad），通过基于 $z_c$ 学习填充策略来处理变化的边界条件，提升对未见域偏移的泛化能力。
• 预测器与编码器在多样化动力学系统上端到端联合训练，但推理时冻结预测器，仅使用编码器在测试时推断 $z_c$。
• 该方法通过直接从查询输入推断 $z_c$ 实现无需微调的快速推理，适用于新系统在现实场景中的部署。

实验结果

研究问题

• RQ1 元学习框架是否能在不重新训练的情况下泛化到异质物理动力学系统，即使系统参数（如浮力或粘性系数）不同？
• RQ2 弱监督（如已知的雷诺数或涡度）在引导动力学预测中时不变系统特征的解耦方面有多有效？
• RQ3 AdaIN 和 AdaPad 等架构组件对模型在多样化动力学系统中的泛化能力和鲁棒性有何影响？
• RQ4 当关键训练组件（如幅值损失或时不变特征损失）被移除时，模型性能如何退化？
• RQ5 编码器在仅依赖原始时间序列数据而无标注支持集的情况下，能在多大程度上推断任务身份？

主要发现

• 在湍流数据集上，DyAd 在未来预测时域的 RMSE 为 0.42，在域泛化基准上的 RMSE 为 0.51，优于所有基线模型。
• 移除编码器（No_enc）导致性能下降，但仍优于 ResNet，证明了自适应归一化与填充在预测中的价值。
• 使用 AdaIN 注入特征可获得最佳性能（RMSE 0.42），显著优于拼接、偏置注入或核调制等替代方法。
• 消融研究显示，若省略编码器的任意三项损失（监督、时不变性、幅值）之一，性能均会下降，证实了其必要性。
• 端到端联合训练编码器与预测器的性能劣于分步训练，验证了领域划分与任务特异性特征学习的重要性。
• 模型能有效泛化到训练分布之外的未见任务，包括浮力因子 $c = 5, 15, 25$ 的流动，展现出对域偏移的鲁棒性。