[论文解读] Delayed Propagation Transformer: A Universal Computation Engine towards Practical Control in Cyber-Physical Systems

Wenqing Zheng, Qiangqiang Guo+3 more|arXiv (Cornell University)|Oct 29, 2021

Traffic Prediction and Management Techniques被引用 8

一句话总结

本文提出延迟传播变换器（DePT），一种融合物理先验的变换器模型，通过引入圆锥形时空注意力先验来建模网络物理系统（CPS）中的延迟信息传播。通过嵌入信号传播速度和方向动力学等物理约束，DePT在合成数据集和真实世界数据集上的多智能体交通控制任务中，实现了比当前最先进方法更快的收敛速度和更优的性能。

ABSTRACT

Multi-agent control is a central theme in the Cyber-Physical Systems (CPS). However, current control methods either receive non-Markovian states due to insufficient sensing and decentralized design, or suffer from poor convergence. This paper presents the Delayed Propagation Transformer (DePT), a new transformer-based model that specializes in the global modeling of CPS while taking into account the immutable constraints from the physical world. DePT induces a cone-shaped spatial-temporal attention prior, which injects the information propagation and aggregation principles and enables a global view. With physical constraint inductive bias baked into its design, our DePT is ready to plug and play for a broad class of multi-agent systems. The experimental results on one of the most challenging CPS -- network-scale traffic signal control system in the open world -- show that our model outperformed the state-of-the-art expert methods on synthetic and real-world datasets. Our codes are released at: https://github.com/VITA-Group/DePT.

研究动机与目标

• 解决因感知受限和信息延迟传播导致的去中心化多智能体CPS控制中非马尔可夫状态表示的挑战。
• 克服图神经网络（GNNs）在高维状态和动作空间的大规模CPS中因感受野局部化和训练不稳定性带来的问题。
• 提出一种集中式、可扩展的控制框架，在尊重传播延迟和方向动力学等物理约束的同时保持全局感知能力。
• 通过在变换器的自注意力机制中嵌入物理归纳偏置，实现在真实CPS环境中更快的收敛速度和更优的泛化能力。
• 开发一种即插即用的通用计算引擎，适用于多种CPS应用，包括交通信号控制、电力系统和工业控制系统。

提出的方法

• 设计一种圆锥形时空注意力先验，以建模CPS中事件的因果传播，灵感源自相对论中的光锥概念。
• 引入ConeDecay组件，沿偏离圆锥方向强制注意力衰减，捕捉过去与未来影响之间的不对称性。
• 结合TimeDecay和可学习的注意力查找表（LUT），以建模物理系统中的时间衰减和动态特征耦合。
• 保留传统的自注意力机制作为残差组件，以维持模型的灵活性和表征能力。
• 在初始化阶段预先拟合物理先验（ConeDecay、TimeDecay），以加速训练并提升收敛速度。
• 由于在噪声CPS数据中收敛缓慢，采用模仿学习训练模型，确保在高容量下仍能实现稳定优化。

实验结果

研究问题

• RQ1 基于变换器的模型能否在尊重物理约束的前提下，有效建模多智能体CPS中延迟且具有方向性的信息传播？
• RQ2 嵌入物理启发的注意力先验在大规模真实CPS控制任务中，如何提升收敛速度和性能？
• RQ3 圆锥形注意力先验在捕捉交通网络中的长程依赖关系方面，与标准自注意力和基于GNN的方法相比，优势有多大？
• RQ4 物理归纳偏置的整合是否能减少对大量数据的依赖，并提升开放世界CPS场景下的泛化能力？
• RQ5 所提出的DePT框架能否推广至交通信号控制以外的其他CPS领域，如电力系统或工业控制系统？

主要发现

• 在Grid-Bi合成数据集上，DePT实现了最快的收敛速度和最佳性能，优于标准变换器和消融变体。
• 消融研究显示，移除ConeDecay组件会导致训练无法收敛，表明其在稳定训练和强制实现物理合理性方面起着关键作用。
• 采用预拟合先验的模型相比未预拟合版本收敛速度显著提升，证明了归纳偏置在加速学习方面的有效性。
• 可视化注意力模式表明，DePT学习到了非对称衰减：相对于未来的影响力衰减快于相对于过去的影响力，与泊松分布的交通流动力学一致。
• 注意力矩阵在时空维度上呈现出圆锥形衰减模式，验证了模型学习到物理上合理的注意力分布的能力。
• DePT在合成和真实世界数据集上的交通信号控制任务中，均优于当前最先进专家方法，证明了其在开放世界CPS环境中的实际可行性。