[論文レビュー] Deep Reinforcement Learning for Event-Triggered Control

Dominik Baumann, Jia-Jie Zhu+2 more|arXiv (Cornell University)|Sep 13, 2018

Adaptive Dynamic Programming Control参考文献 42被引用数 15

ひとこと要約

本論文は、システムの動的モデルを必要とせずに、イベント発動制御（ETC）における制御および通信ポリシーを同時に学習する深層強化学習（DRL）フレームワークを提案する。DDPGおよびポリシー勾配法を用いて、線形タスクでは最大90%、非線形歩行タスクでは60%の通信量削減を達成し、特に通信レートが低い状況でも安定性を維持する。モデルベースETCが失敗する低通信レートでも、その有効性を示している。

ABSTRACT

Event-triggered control (ETC) methods can achieve high-performance control with a significantly lower number of samples compared to usual, time-triggered methods. These frameworks are often based on a mathematical model of the system and specific designs of controller and event trigger. In this paper, we show how deep reinforcement learning (DRL) algorithms can be leveraged to simultaneously learn control and communication behavior from scratch, and present a DRL approach that is particularly suitable for ETC. To our knowledge, this is the first work to apply DRL to ETC. We validate the approach on multiple control tasks and compare it to model-based event-triggering frameworks. In particular, we demonstrate that it can, other than many model-based ETC designs, be straightforwardly applied to nonlinear systems.

研究の動機と目的

• 正確なシステム動的モデルを必要とするモデルベースETCの制限を克服すること。
• 生のセンサデータおよびシミュレーション経験から、制御および通信ポリシーを同時に学習可能にする。
• 制御器とトリガーを別々に最適化しても最適性能が得られない、ETCにおける分離原理の失敗を克服すること。
• ロボット歩行などの非線形・複雑な制御タスクにおけるDRLの実現可能性と有効性を示すこと。
• 特にモデルベース手法が失敗する低通信レート環境でも、制御性能を維持しながら通信効率を高めること。

提案手法

• 制御性能と通信コストの両方を組み合わせた報酬関数を用いて、リソースに配慮した制御を強化学習（RL）問題として定式化する。
• 生の観測から制御および通信ポリシーのエンドツーエンド学習を実現するため、深層決定的方策勾配（DDPG）を用いる。
• 事前に訓練されたタイムトリガー制御器が利用可能な場合に限り、ポリシー勾配法を用いて通信ポリシーのみを学習する。
• 2段階の訓練プロセスを実装：まずTRPOを用いて全通信制御器を訓練し、その後報酬を拡張して通信ポリシーを訓練する。
• 連続的制御タスクにおける制御入力と通信意思決定を表すパラメータ化された行動空間を採用する。
• MuJoCo物理エンジンに基づくシミュレーテッド環境を用いて、アンチの歩行など複雑なタスクでのエージェントの訓練と評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 システム動的モデルに依存せずに、深層強化学習を用いてイベント発動制御における制御および通信ポリシーを効果的に学習できるか？
• RQ2 正確なモデルが与えられた線形系において、提案されたDRLベースETCは、既存のモデルベースETC手法を上回る性能を示すか？
• RQ3 モデルベースETCが失敗する非常に低い通信レートでも、DRLアプローチが非線形系を安定化できるか？
• RQ4 同じDRLフレームワークを、ロボット歩行のような複雑で高次元なタスクにどの程度応用できるか？
• RQ5 制御と通信のエンドツーエンド学習は、分離設計に比べて通信効率と安定性の面で優れているか？

主な発見

• DRLベースETCアプローチは、25msのサンプリング時間を持つ線形制御タスクで最大90%の通信削減を達成し、タイムトリガーのベースラインを上回った。
• 平均通信レートが極めて低い状況では、モデルベースETCが失敗する中で、DRL法が安定化ポリシーを発見し、困難なレジームでもロバストであることを示した。
• 正確なモデルが与えられた線形系では、中〜高通信レートにおいてもモデルベースETCがDRLを上回る性能を示し、モデル活用の価値を裏付けた。
• 非線形歩行タスクにおいて、DRL法がアンチロボットのシミュレーションで約60%の通信削減を達成しながら、制御および通信ポリシーのエンドツーエンド学習に成功した。
• 訓練中にエージェントがたびたび転倒（約10%の実行回数）を経験したが、タスク固有の報酬設計なしに、依然として安定した歩行と通信効率を達成した。
• 本アプローチは汎用的でタスクに依存せず、標準的な制御問題および3D四足歩行のような高次元で複雑なタスクにおいても実現可能性を示した。