[论文解读] Factorised Neural Relational Inference for Multi-Interaction Systems

Ezra Webb, Ben Day+2 more|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 10被引用 14

一句话总结

该论文提出因子化神经关系推理（fNRI），一种对原始NRI模型进行改进的模型，通过将潜在交互图分解为具有独立交互类型层的多层结构，实现对不同交互类型的解耦建模。该方法在减少模型参数量的同时，通过定向反馈机制提升了训练稳定性，并在多个物理系统中实现了边预测与轨迹预测的最先进性能，优于原始NRI模型，且表明变分自编码器（VAE）框架并非实现高性能的必要条件。

ABSTRACT

Many complex natural and cultural phenomena are well modelled by systems of simple interactions between particles. A number of architectures have been developed to articulate this kind of structure, both implicitly and explicitly. We consider an unsupervised explicit model, the NRI model, and make a series of representational adaptations and physically motivated changes. Most notably we factorise the inferred latent interaction graph into a multiplex graph, allowing each layer to encode for a different interaction-type. This fNRI model is smaller in size and significantly outperforms the original in both edge and trajectory prediction, establishing a new state-of-the-art. We also present a simplified variant of our model, which demonstrates the NRI's formulation as a variational auto-encoder is not necessary for good performance, and make an adaptation to the NRI's training routine, significantly improving its ability to model complex physical dynamical systems.

研究动机与目标

• 解决原始神经关系推理（NRI）模型在多类交互系统中存在表征效率与训练效率低下的问题。
• 通过单一图结构建模多类交互系统时，避免边类型组合的指数级增长。
• 通过多层图结构实现按交互类型定向反馈，提升训练信号质量。
• 通过引入简化变体（sfNRI）证明NRI中的变分自编码器（VAE）框架并非高性能所必需。
• 通过改进训练流程，解耦编码与解码阶段，增强模型学习复杂物理动力学的能力。

提出的方法

• 将潜在交互图分解为多层结构，使每类交互类型在独立图层中编码，降低冗余性并提升可解释性。
• 使用具有消息传递机制的图神经网络（GNN）计算边嵌入，并通过K类边类型的softmax输出边类型后验分布。
• 将解码器分解为针对每类交互类型的独立边到节点消息传递函数，每类使用独立的神经网络 $\tilde{f}^k_e$ 和 $\tilde{f}_v$。
• 修改训练流程，前50个时间步用于编码，后50个时间步用于解码，以提升序列建模能力并改善泛化性能。
• 引入简化版fNRI（sfNRI），移除VAE目标函数，采用直接交叉熵或二元交叉熵损失，证明生成建模并非高性能的必要条件。
• 训练期间采用温度控制的混凝土松弛方法实现可微采样，温度参数 $\tau = 0.5$，并使用L2正则化以稳定复杂系统中的训练过程。

实验结果

研究问题

• RQ1 多层图结构能否提升多类交互系统中关系归纳偏置的表征效率与训练性能？
• RQ2 将交互类型分解为独立图层是否能优于统一的边类型表示，从而实现更优的边与轨迹预测？
• RQ3 在关系推理中，变分自编码器（VAE）目标是否为高性能所必需？判别式训练是否已足够？
• RQ4 在训练中解耦编码与解码阶段，是否能增强模型推断复杂物理动力学的能力？
• RQ5 通过结构化图因子化实现的改进反馈机制，能否减少误差传播并提升关系归纳偏置模型的泛化能力？

主要发现

• fNRI在边预测任务中达到最先进性能，在所有测试系统中显著优于原始NRI模型，包括I+C与I+C+F系统。
• fNRI通过边类型因子化有效减小模型规模：编码器参数量为710,660，解码器为406,020，而原始NRI分别为711,688与678,404，尽管fNRI建模了更复杂的交互关系。
• 简化版fNRI（sfNRI）移除了VAE目标函数，仍取得具有竞争力的性能，证明VAE框架并非高性能所必需。
• 改进的训练流程（前50步编码、后50步解码）显著提升了轨迹预测性能，尤其在I+C+F等复杂系统中表现突出。
• 边预测准确率按交互类型分解，综合准确率（要求所有类型均正确）持续提升，证实多层结构能实现更精确、更鲁棒的推理。
• 模型对标签排列模糊性具有鲁棒性，各批次中标签分配保持一致，验证了学习到的边类型分配的可靠性。