[论文解读] Discovering State Variables Hidden in Experimental Data

Boyuan Chen, Kuang Huang+4 more|arXiv (Cornell University)|Dec 20, 2021

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出了一种深度学习框架，能够从物理系统的原始视频数据中自动发现完整且非冗余的状态变量，而无需事先了解其底层物理原理。通过训练神经网络以重建视频帧，并随后应用降维方法，该方法识别出能以高精度捕捉物理动力学的内在状态变量，从而实现稳定的长期预测，在速度和能量回归任务上优于传统的基于PCA的方法。

ABSTRACT

All physical laws are described as relationships between state variables that give a complete and non-redundant description of the relevant system dynamics. However, despite the prevalence of computing power and AI, the process of identifying the hidden state variables themselves has resisted automation. Most data-driven methods for modeling physical phenomena still assume that observed data streams already correspond to relevant state variables. A key challenge is to identify the possible sets of state variables from scratch, given only high-dimensional observational data. Here we propose a new principle for determining how many state variables an observed system is likely to have, and what these variables might be, directly from video streams. We demonstrate the effectiveness of this approach using video recordings of a variety of physical dynamical systems, ranging from elastic double pendulums to fire flames. Without any prior knowledge of the underlying physics, our algorithm discovers the intrinsic dimension of the observed dynamics and identifies candidate sets of state variables. We suggest that this approach could help catalyze the understanding, prediction and control of increasingly complex systems. Project website is at: https://www.cs.columbia.edu/~bchen/neural-state-variables

研究动机与目标

• 为解决长期以来从原始观测数据中识别物理系统隐藏状态变量的挑战，特别是在缺乏先验物理知识的情况下。
• 开发一种全自动、数据驱动的方法，可直接从高维视频流中提取最小、完整且非冗余的状态变量集合。
• 通过首先识别正确的底层变量，为发现物理定律铺平道路，而这些变量往往是自动化科学发现中的瓶颈。
• 通过学习对模型误差累积和视觉扰动具有鲁棒性的状态变量，提升动力系统长期预测的准确性。

提出的方法

• 训练一个深度神经网络（类似自编码器的结构）从潜在表征中重建视频帧，学习系统动力学的紧凑且解耦的编码。
• 对学习到的潜在表征应用降维方法（如PCA），以估计系统动力学的内在维度。
• 将所得的低维潜在空间作为候选状态变量——称为“神经状态变量”——其具有可解释性且具有物理意义。
• 训练一个独立的回归头，将神经状态变量映射到传统物理变量（如位置、速度、能量），以验证其与物理量的对应关系。
• 通过与基于高维潜在向量主成分的基线方法对比，证明在重建物理量方面具有更高的准确性。
• 引入正则化技术，使神经状态变量与已知物理约束（如能量守恒）对齐，从而增强其可解释性与鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否在无先验物理知识的前提下，直接从原始视频数据中发现最小、完整且非冗余的状态变量集合？
• RQ2 与在原始潜在特征上应用PCA的传统降维技术相比，所发现的神经状态变量在多大程度上能准确捕捉真实物理动力学？
• RQ3 神经状态变量能否用于从未标记的视频数据中准确回归标准物理变量（如位置、速度、能量）？
• RQ4 与标准模型输出或基于PCA的表示相比，使用神经状态变量进行长期预测时，其稳定性如何？
• RQ5 所发现的状态变量在多大程度上可被解释为对应于已知物理概念（如动量、能量或角速度）？

主要发现

• 所提出的方法能直接从视频中成功识别出多种动力系统（如双摆和火焰）的内在维度，其结果与已知理论值一致。
• 神经状态变量仅需30%的标注数据即可实现对物理变量（如速度、能量）的高精度回归，优于对高维潜在向量进行PCA的结果，尤其在速度预测方面表现更优。
• 以物理值着色的神经状态变量可视化结果揭示出对称结构，与系统内在的物理对称性一致，表明其具有物理可解释性。
• 该方法能够实现对长期预测的稳定表现，对模型误差累积和外部视觉扰动具有鲁棒性，优于基线方法。
• 当通过物理约束进行正则化后，神经状态变量在与已知物理定律（如能量守恒）的对齐方面表现更优。
• 该框架在自动化科学发现方面展现出潜力，能够实现从原始传感数据中识别状态变量，而这是人工智能驱动物理发现中的关键瓶颈。