[论文解读] Informative Neural Ensemble Kalman Learning

Margaret Trautner, Gabriel Margolis+1 more|arXiv (Cornell University)|Aug 22, 2020

Gaussian Processes and Bayesian Inference参考文献 29被引用 4

一句话总结

该论文提出了一种名为信息性神经集合卡尔曼学习（INEK-L）的新方法，用自适应集合卡尔曼滤波替代反向传播，通过最大化信息增益并量化不确定性来优化神经网络训练。该方法无需显式稀疏性约束，即可高精度、高结构保真度地从模拟数据中实现对洛伦兹-63动力学方程的从头恢复，展示了在神经结构学习方面的优越性能。

ABSTRACT

In stochastic systems, informative approaches select key measurement or decision variables that maximize information gain to enhance the efficacy of model-related inferences. Neural Learning also embodies stochastic dynamics, but informative Learning is less developed. Here, we propose Informative Ensemble Kalman Learning, which replaces backpropagation with an adaptive Ensemble Kalman Filter to quantify uncertainty and enables maximizing information gain during Learning. After demonstrating Ensemble Kalman Learning's competitive performance on standard datasets, we apply the informative approach to neural structure learning. In particular, we show that when trained from the Lorenz-63 system's simulations, the efficaciously learned structure recovers the dynamical equations. To the best of our knowledge, Informative Ensemble Kalman Learning is new. Results suggest that this approach to optimized Learning is promising.

研究动机与目标

• 开发一种信息性学习框架，通过在随机学习动态过程中最大化信息增益来优化神经网络训练。
• 解决在涉及学习机器的动态数据驱动应用（DDDAS）中，联合再训练与估计缺乏可处理的递归机制的问题。
• 通过从数据中发现可解释的动力学方程，实现在神经动力系统（NDS）中的结构学习，特别是针对洛伦兹-63等系统。
• 证明通过集合方法进行不确定性量化可指导神经学习中变量与结构选择的合理方法。
• 通过迭代的信息增益驱动选择过程，克服结构学习中的维度与稀疏性挑战。

提出的方法

• 用自适应集合卡尔曼滤波（EnKF）替代传统反向传播，以无伴随、可并行的方式训练神经网络，同时量化参数不确定性。
• 利用福克-普朗克方程框架对学习的随机动力学进行建模，通过蒙特卡洛采样近似，以实现可处理的推断。
• 应用训练误差变量与候选结构项之间的互信息，以指导基于信息增益的贪婪选择，识别模型中的相关项。
• 在集合卡尔曼学习用于参数估计与基于信息论的项选择之间交替进行，以迭代方式优化模型结构。
• 在高斯假设下，采用条件成对互信息对项进行排序与选择，以在最小化模型复杂度的同时最大化预测准确性。
• 在每次选择周期后对参数集合方差进行重标定与平衡，以保持数值稳定性并促进收敛。

实验结果

研究问题

• RQ1 在随机学习动态过程中最大化信息增益是否能提升神经网络的模型推断与泛化性能？
• RQ2 基于集合的学习框架是否能在标准基准任务中超越反向传播，尤其是在具备不确定性量化的前提下？
• RQ3 通过互信息实现的信息性变量选择是否能无需先验结构偏差，实现从数据中对真实动力学方程的从头发现？
• RQ4 迭代选择-修正过程在降低神经动力系统模型维度的同时，保持结构准确性的有效性如何？
• RQ5 不确定性感知学习机制在多大程度上能自然促进神经模型的稀疏性与结构可解释性？

主要发现

• 所提出的的信息性集合卡尔曼学习（INEK-L）在标准数据集上实现了具有竞争力的性能，其准确率与随机梯度下降及反向传播相当。
• 在洛伦兹-63模拟数据上训练时，INEK-L将真实动力学方程恢复的参数估计值与真实值的偏差控制在1%以内，达到高数值精度。
• 该方法在约35次迭代内成功实现了洛伦兹-63系统结构的从头学习，所有真实项被识别，虚假项被自动排除。
• 最终学习到的模型在结构上完全精确：$\dot{x}_1 = a_{11}x_1 + a_{12}x_2$，$\dot{x}_2 = a_{21}x_1 + a_{22}x_2 + a_{25}x_1x_3$，$\dot{x}_3 = a_{33}x_3 + a_{34}x_1x_2$，证实了其可解释性。
• 参数估计值收敛至真实值的$3 \times 10^{-4}$以内，后验方差降低至$3.2 \times 10^{-7}$，表明具有高置信度与高精度。
• 该方法无需显式稀疏性约束，维度问题通过迭代的信息驱动项选择与剔除过程得以克服。