[論文レビュー] Receding Horizon Temporal Logic Control for Finite Deterministic Systems

Xuchu Ding, Mircea Lazar+1 more|arXiv (Cornell University)|Mar 13, 2012

Advanced Control Systems Optimization被引用数 4

ひとこと要約

本稿では、有限決定的システムに対して、時間変化する状態報酬を最大化すると同時に線形時相論理（LTL）仕様を満たすように保証する再帰的ホライズン制御フレームワークを提案する。モデル予測制御とLTLに基づく合成を組み合わせることで、各ステップで有限ホライズン上で報酬を最適化し、製品オートマトン上の制約を課すことにより、軌道の正しさと再帰的妥当性を保証する。

ABSTRACT

This paper considers receding horizon control of finite deterministic systems, which must satisfy a high level, rich specification expressed as a linear temporal logic formula. Under the assumption that time-varying rewards are associated with states of the system and they can be observed in real-time, the control objective is to maximize the collected reward while satisfying the high level task specification. In order to properly react to the changing rewards, a controller synthesis framework inspired by model predictive control is proposed, where the rewards are locally optimized at each time-step over a finite horizon, and the immediate optimal control is applied. By enforcing appropriate constraints, the infinite trajectory produced by the controller is guaranteed to satisfy the desired temporal logic formula. Simulation results demonstrate the effectiveness of the approach.

研究の動機と目的

• モデル予測制御（MPC）と時相論理仕様の形式的合成を統合する分野におけるギャップを埋める。
• 複雑で高水準なLTLタスク仕様を満たす制御システムにおいて、時間変化する報酬をリアルタイムで最適化可能にする。
• 無限軌道の正しさ（LTL式の満足）と各時刻における最適化問題の再帰的妥当性の両方を保証する。
• 既存のMPCフレームワークに時相論理制約を組み込み、形式的検証の保証を追加する。
• 環境の変化に応じて動的に変化する条件をモデル化した時間変化する報酬に適応するスケーラブルでリアルタイムな制御戦略を提供する。

提案手法

• 与えられたLTL仕様を Büchi オートマトンに翻訳し、望ましい時相的動作を表現する。
• システム遷移オートマトンと Büchi オートマトンとの間に製品オートマトンを構築し、連携するダイナミクスと仕様制約をエンコードする。
• 製品状態空間上でエネルギー関数 $ V(p) $ を定義し、受容状態への到達可能性を符号化することで、LTLの満足を保証する。
• 各時刻で、ホライズン $ N $ の間に累積報酬を最大化する有限ホライズン最適制御問題を定式化し、将来の受容状態への到達可能性を保証する制約を課す。
• 最適有限ホライズンシーケンスから最初の制御入力を適用し、次の時刻では新しい現在状態を用いて問題を再計算することで、再帰的ホライズン動作を保証する。
• 最適化に終端制約を課すことにより、再帰的妥当性と閉ループ軌道の無限ホライズンでの正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 モデル予測制御を形式的合成と統合することで、時間変化する報酬を最適化しつつLTL仕様の満足を保証する方法は何か？
• RQ2 再帰的ホライズン最適化に課すべき制約は何か？ これにより、無限軌道の正しさと再帰的妥当性の両方が保証される。
• RQ3 予測制御フレームワークは、時間変化する報酬にリアルタイムで適応可能であり、形式的保証を維持できるか？
• RQ4 提案されたフレームワークは、非再帰的ホライズンアプローチと比較して、報酬収集能力と応答性においてどのように性能を発揮するか？
• RQ5 有限決定的システムにLTL仕様を適用した場合、提案手法の計算複雑性とスケーラビリティはどの程度か？

主な発見

• 提案された再帰的ホライズン制御装置は、エネルギー関数 $ V(p) $ が55ステップ目で0に達することにより、生成された無限軌道が与えられたLTL仕様を満たしていることを確認した。
• 制御装置は再帰的妥当性を達成しており、初期時刻で最適化問題が可能であれば、閉ループダイナミクス下で将来のすべての時刻でも問題が可能であることが保証された。
• 時間変化する報酬に効果的に適応した：シミュレーションでは、[16]の非再帰的ホライズン制御装置よりも累積報酬収集において優れた性能を示し、動的報酬変化への適応性が顕著に向上した。
• アルゴリズムの1反復あたりの平均計算時間は1〜3秒であり、100ステップのシミュレーションは300秒未満で完了した。これにより、リアルタイム実行可能性が裏付けられた。
• LTL式から Büchi オートマトンへの翻訳に0.5秒、製品オートマトンの生成とエネルギー関数の計算に4秒を要した。これは許容可能な前処理オーバーヘッドであると判明した。
• システムの軌道は、一貫して $\mathtt{base}$、$\mathtt{survey}$、$\mathtt{recharge}$ 状態をサイクルで訪問しており、監視ミッションタスクが正しく実行され、時間経過とともに維持されていることが確認された。