[论文解读] Learning Continuous System Dynamics from Irregularly-Sampled Partial Observations

Zijie Huang, Yizhou Sun+1 more|arXiv (Cornell University)|Nov 8, 2020

Time Series Analysis and Forecasting参考文献 22被引用 25

一句话总结

该论文提出 LG-ODE，一种潜在常微分方程模型，通过联合利用图神经网络编码器与时间自注意力机制推断潜在初始状态，从不规则采样且部分观测的轨迹中学习连续多智能体系统动力学。该方法在动作捕捉、弹簧系统和带电粒子数据集上，在重建缺失数据和预测未来轨迹方面均达到最先进性能。

ABSTRACT

Many real-world systems, such as moving planets, can be considered as multi-agent dynamic systems, where objects interact with each other and co-evolve along with the time. Such dynamics is usually difficult to capture, and understanding and predicting the dynamics based on observed trajectories of objects become a critical research problem in many domains. Most existing algorithms, however, assume the observations are regularly sampled and all the objects can be fully observed at each sampling time, which is impractical for many applications. In this paper, we propose to learn system dynamics from irregularly-sampled partial observations with underlying graph structure for the first time. To tackle the above challenge, we present LG-ODE, a latent ordinary differential equation generative model for modeling multi-agent dynamic system with known graph structure. It can simultaneously learn the embedding of high dimensional trajectories and infer continuous latent system dynamics. Our model employs a novel encoder parameterized by a graph neural network that can infer initial states in an unsupervised way from irregularly-sampled partial observations of structural objects and utilizes neuralODE to infer arbitrarily complex continuous-time latent dynamics. Experiments on motion capture, spring system, and charged particle datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 解决观测不规则采样且每个智能体仅部分可观测时，学习连续系统动力学的挑战。
• 利用具有已知底层图结构的潜在 ODE 框架，建模多智能体之间复杂的连续时间相互作用。
• 尽管观测稀疏或不同步，仍通过利用邻近关系和时间上下文，联合推断所有智能体的潜在初始状态。
• 在数据不完整的情况下，实现对缺失观测的准确插值和未来轨迹的外推预测。
• 克服现有模型在假设时间步长规则采样且所有智能体在每个时间步均完全可观测时的局限性。

提出的方法

• 提出 LG-ODE，一种变分自编码器框架，使用神经 ODE 建模多智能体系统在连续时间下的潜在动力学。
• 采用图神经网络（GNN）编码器聚合邻近信息，为每个对象的观测生成上下文感知的表示。
• 集成时间自注意力机制，建模每个智能体不规则采样观测序列中的序列模式。
• 通过利用智能体间依赖关系和观测稀疏性，联合推断所有智能体的潜在初始状态。
• 使用基于 GNN 的 ODE 函数，建模潜在空间中智能体之间的连续相互作用。
• 利用变分推断，从部分观测和不规则观测中近似初始潜在状态的后验分布。

实验结果

研究问题

• RQ1 潜在 ODE 模型能否有效从不规则采样且部分观测的轨迹中学习连续系统动力学？
• RQ2 当单个智能体观测较少或稀疏时，跨智能体潜在初始状态的联合推断在多大程度上能提升性能？
• RQ3 基于 GNN 的编码器结合时间自注意力机制，在不完整动态系统中能多大程度捕捉复杂的时间与结构依赖？
• RQ4 所提方法在真实和模拟数据集上的插值与外推任务中是否优于现有方法？
• RQ5 该模型在不同观测稀疏程度和非均匀采样间隔下表现如何？

主要发现

• LG-ODE 在动作捕捉、弹簧系统和带电粒子数据集上，对缺失观测的插值任务达到最先进性能。
• 通过联合初始状态推断利用智能体间依赖关系，显著提升了部分观测和不规则采样轨迹的重建精度。
• 实验表明，时间自注意力机制即使在观测稀疏且非均匀的情况下，也能有效捕捉复杂的时间模式。
• 基于 GNN 的编码器通过聚合邻近智能体的上下文信息，实现了更优的表征学习，尤其在智能体观测有限时更具优势。
• 该模型在未来轨迹预测（外推）任务中泛化能力出色，在不同观测稀疏程度下均优于基线模型。
• 消融研究证实，初始状态的联合学习以及时间自注意力机制对性能至关重要，尤其在低观测场景下。