[論文レビュー] Delayed Propagation Transformer: A Universal Computation Engine towards Practical Control in Cyber-Physical Systems

Wenqing Zheng, Qiangqiang Guo+3 more|arXiv (Cornell University)|Oct 29, 2021

Traffic Prediction and Management Techniques被引用数 8

ひとこと要約

本稿では、サイバー物理システム（CPS）における遅延する情報伝播をモデル化するため、コーン型の空間時系列自己注意の事前知識を統合した物理知覚型トランスフォーマー、Delayed Propagation Transformer（DePT）を提案する。信号伝播速度や方向性の動的制約といった物理的制約を埋め込むことで、合成データおよび実世界データの両方におけるマルチエージェント交通制御において、最先端の手法を上回る高速な収束と優れた性能を達成した。

ABSTRACT

Multi-agent control is a central theme in the Cyber-Physical Systems (CPS). However, current control methods either receive non-Markovian states due to insufficient sensing and decentralized design, or suffer from poor convergence. This paper presents the Delayed Propagation Transformer (DePT), a new transformer-based model that specializes in the global modeling of CPS while taking into account the immutable constraints from the physical world. DePT induces a cone-shaped spatial-temporal attention prior, which injects the information propagation and aggregation principles and enables a global view. With physical constraint inductive bias baked into its design, our DePT is ready to plug and play for a broad class of multi-agent systems. The experimental results on one of the most challenging CPS -- network-scale traffic signal control system in the open world -- show that our model outperformed the state-of-the-art expert methods on synthetic and real-world datasets. Our codes are released at: https://github.com/VITA-Group/DePT.

研究の動機と目的

• センシング能力の制限と遅延する情報伝播により生じる、分散型マルチエージェントCPS制御における非マルコフ的状態表現の課題に対処すること。
• 高次元の状態空間と行動空間を持つ大規模CPSにおいて、グラフニューラルネットワーク（GNN）の局所的受容 field と訓練の不安定性の問題を克服すること。
• 物理的制約（伝播遅延や方向性の動的特性など）を尊重しながらも、グローバルな認識を維持する集中型でスケーラブルな制御フレームワークを提供すること。
• トランスフォーマーの自己注意メカニズムに物理的インダクティブバイアスを埋め込むことで、実世界のCPS環境における高速な収束とより優れた一般化性能を実現すること。
• 交通信号制御、電力系統、産業システムを含む多様なCPS応用に適した即挿し可能な汎用計算エンジンを開発すること。

提案手法

• 相対性理論における光円錐の概念にインspiredされた、CPSにおける出来事の因果的伝播をモデル化するコーン型の空間時系列自己注意事前知識を設計する。
• コーンから逸脱する方向への注意の減衰を強制するため、ConeDecayを導入し、過去と未来への影響の非対称性を捉える。
• 時間的減衰をモデル化するTimeDecayと、物理系における動的特徴結合を表現する学習可能な注意ルックアップテーブル（LUT）を統合する。
• 従来の自己注意メカニズムを残差部として保持することで、モデルの柔軟性と表現能力を維持する。
• 訓練の加速と収束速度の向上を図るため、初期化段階で物理的事前知識（ConeDecay、TimeDecay）を事前フィッティングする。
• ノイズの多いCPSデータにおける収束の遅さを考慮し、安定した最適化を保証するため、模倣学習を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモデルは、物理的制約を尊重しながら、マルチエージェントCPSにおける遅延的かつ方向性のある情報伝播を効果的にモデル化できるか？
• RQ2 物理的インspiredの自己注意事前知識を埋め込むことで、大規模で実世界のCPS制御タスクにおける収束速度と性能がどのように向上するか？
• RQ3 コーン型の自己注意事前知識は、交通ネットワークにおける長距離依存関係を、標準的な自己注意やGNNベースの手法よりもどれほど効果的に捉えられるか？
• RQ4 物理的インダクティブバイアスの統合により、開かれた世界のCPSシナリオにおいて、大量のデータを必要とせず一般化性能が向上するか？
• RQ5 提案されたDePTフレームワークは、交通信号制御を越えて、電力系統や産業制御システムなどの他のCPS分野にも一般化可能か？

主な発見

• DePTはGrid-Bi合成データセットにおいて、標準トランスフォーマーおよびアブレーションバージョンを上回る最速の収束速度と最高の性能を達成した。
• アブレーションスタディの結果、ConeDecay部を削除すると収束不能に陥ったことから、訓練の安定化と物理的妥当性の維持においてその重要性が示された。
• 事前フィッティング済みの事前知識を有するモデルは、非事前フィッティング版よりも顕著に高速に収束した。これは、インダクティブバイアスが学習を加速する有効性を示している。
• 可視化された注意パターンから、DePTが非対称な減衰を学習していることが確認された。相対的な未来からの影響は、相対的な過去からの影響よりも速やかに減衰しており、ポisson分布に従う交通フローのダイナミクスと整合的であった。
• 注意行列は空間的・時間的次元でコーン型の減衰パターンを示し、物理的に妥当な注意分布を学習できていることを裏付けた。
• DePTは、合成データおよび実世界データの両方において、交通信号制御分野における最先端の専門的手法を上回った。これは、開かれた世界のCPS環境における実用的妥当性を証明した。