[论文解读] Enforcing constraints for time series prediction in supervised, unsupervised and reinforcement learning

Panos Stinis|arXiv (Cornell University)|May 17, 2019

Model Reduction and Neural Networks参考文献 22被引用 9

一句话总结

本文提出了一种统一框架，用于在时间序列预测的监督学习、无监督学习和强化学习中，对深度神经网络训练过程施加动力系统约束（如微分方程或类似记忆的恢复力）。通过将这些约束嵌入损失函数、判别器输入或奖励函数，并在强化学习中采用基于同伦的训练稳定化方法，该方法显著提升了长期预测精度和泛化能力，尤其在大时间步长和噪声数据条件下表现突出。

ABSTRACT

We assume that we are given a time series of data from a dynamical system and our task is to learn the flow map of the dynamical system. We present a collection of results on how to enforce constraints coming from the dynamical system in order to accelerate the training of deep neural networks to represent the flow map of the system as well as increase their predictive ability. In particular, we provide ways to enforce constraints during training for all three major modes of learning, namely supervised, unsupervised and reinforcement learning. In general, the dynamic constraints need to include terms which are analogous to memory terms in model reduction formalisms. Such memory terms act as a restoring force which corrects the errors committed by the learned flow map during prediction. For supervised learning, the constraints are added to the objective function. For the case of unsupervised learning, in particular generative adversarial networks, the constraints are introduced by augmenting the input of the discriminator. Finally, for the case of reinforcement learning and in particular actor-critic methods, the constraints are added to the reward function. In addition, for the reinforcement learning case, we present a novel approach based on homotopy of the action-value function in order to stabilize and accelerate training. We use numerical results for the Lorenz system to illustrate the various constructions.

研究动机与目标

• 解决神经网络在时间序列数据上训练时因滚动过程中的误差累积而导致的长期预测性能差的问题。
• 将已知的物理约束（如微分方程）整合到神经网络训练中，以提升泛化能力和稳定性。
• 通过约束施加实现类似记忆效应，使流映射学习在大时间步长或稀疏观测条件下依然准确。
• 通过动作价值函数的同伦化，稳定并加速强化学习中的训练过程。
• 通过在所有主要学习范式中嵌入领域知识到神经网络优化中，弥合科学计算与机器学习之间的鸿沟。

提出的方法

• 在监督学习中，通过将约束作为正则化项添加到损失函数中来实现约束施加。
• 在无监督学习（如 GAN）中，通过在判别器输入中引入约束感知特征来注入约束。
• 在强化学习（演员-评论家）中，将约束嵌入奖励函数，以引导策略学习朝向物理上一致的轨迹。
• 在约束中显式引入误差校正项，以处理未解析的时间尺度，类似于模型降阶中的记忆项。
• 在强化学习中采用同伦调度，逐步引入约束强度，以提升收敛性和稳定性。
• 将噪声训练数据（轨迹周围的噪声云）与修改后的约束相结合，隐式编码一种恢复力，用于校正预测误差。

实验结果

研究问题

• RQ1 如何在时间序列预测的深度学习训练过程中有效施加已知的动力系统约束？
• RQ2 约束施加对监督学习、无监督学习和强化学习设置下的长期预测精度有何影响？
• RQ3 在演员-评论家强化学习中，基于同伦的约束渐进引入是否能提升训练稳定性和性能？
• RQ4 将噪声数据与约束施加相结合，如何影响神经网络在训练轨迹之外的泛化能力？
• RQ5 在真实世界应用中，约束施加模型在更大时间步长或稀疏观测条件下的泛化能力有多大？

主要发现

• 在监督学习中施加约束能显著提升长期预测精度，尤其在结合噪声数据训练时效果更明显。
• 在基于 GAN 的无监督学习中，通过在判别器输入中加入约束项，可实现更准确且物理一致的流映射学习。
• 在强化学习中，对动作价值函数采用同伦方法可实现稳定且准确的长期预测；而未使用同伦的方法则迅速发散。
• 显式修改并包含误差校正项的约束（类比于记忆项）优于标准约束施加方法，尤其在长时域预测中表现更优。
• 噪声数据与约束施加的结合产生了一种鲁棒的流映射，即使在时间步长较大或观测稀疏时也能保持高精度。
• 该框架支持在大时间步长下实现准确的流映射学习，表明其在在线或资源受限场景中具有实际应用潜力，尤其适用于测量频率较低的场景。