[论文解读] Actively Learning Gaussian Process Dynamics

Mona Buisson-Fenet, Friedrich Solowjow+1 more|arXiv (Cornell University)|Jul 31, 2020

Gaussian Processes and Bayesian Inference被引用 24

一句话总结

本文提出了一种高斯过程动力学的主动学习策略，该策略基于信息论的不确定性选择采样点，实现在尊重系统动力学约束的前提下高效训练模型。该方法通过在高不确定性区域进行有针对性的探索，提升了数据效率，经广泛的数值基准测试验证。

ABSTRACT

Despite the availability of ever more data enabled through modern sensor and computer technology, it still remains an open problem to learn dynamical systems in a sample-efficient way. We propose active learning strategies that leverage information-theoretical properties arising naturally during Gaussian process regression, while respecting constraints on the sampling process imposed by the system dynamics. Sample points are selected in regions with high uncertainty, leading to exploratory behavior and data-efficient training of the model. All results are finally verified in an extensive numerical benchmark.

研究动机与目标

• 解决尽管数据可用性不断提高，学习动态系统时仍面临的数据效率低下问题。
• 开发利用高斯过程回归固有信息论特性的主动学习策略。
• 在学习过程中尊重采样约束，以确保与真实世界系统动力学的兼容性。
• 通过聚焦于高不确定性区域进行探索性数据采集，实现数据高效的模型训练。

提出的方法

• 使用信息论准则量化动态系统中高斯过程回归的不确定性。
• 在预测方差较高的区域选择新的训练点，以引导探索性数据采集。
• 将系统动力学约束整合到主动学习的选择过程中，以确保采样可行性。
• 利用高斯过程回归的自然不确定性估计驱动自适应采样，无需额外建模。
• 在顺序学习框架中应用该策略，使每个新样本均提升模型精度并降低不确定性。

实验结果

研究问题

• RQ1 如何有效将主动学习应用于高斯过程动态系统模型，以提升数据效率？
• RQ2 哪些信息论准则可指导动态系统中信息丰富采样点的选择？
• RQ3 如何在不损害探索能力的前提下，将系统动力学约束整合到主动学习中？
• RQ4 与随机或均匀采样相比，基于不确定性的采样在多大程度上减少了所需训练样本的数量？

主要发现

• 所提出的主动学习策略通过聚焦于高不确定性区域，显著提升了数据效率。
• 基于不确定性的采样相比基线采样方法，能实现更快收敛和更低的模型误差。
• 该方法尊重系统动力学约束，确保在真实世界应用中实现可行且安全的数据采集。
• 广泛的数值基准测试证实了该方法在多样化动态系统中的有效性与鲁棒性。