[論文レビュー] Enforcing robust control guarantees within neural network policies

Priya L. Donti, Melrose Roderick+2 more|arXiv (Cornell University)|Nov 16, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用数 12

ひとこと要約

本論文は、微分可能で凸最適化に基づく射影層を統合することで、古典的ロバスト制御から証明可能なロバスト性保証を深層ニューラルネットワークポリシーに埋め込む手法を提案する。このアプローチにより、深層強化学習で訓練された非線形で高効率な制御系を実現しつつ、最悪ケースの摂動に対しても安定性を維持でき、平均ケース性能と最悪ケースのロバスト性の両面で、従来のロバスト制御手法および非ロバストな深層強化学習手法を上回る性能を発揮する。

ABSTRACT

When designing controllers for safety-critical systems, practitioners often face a challenging tradeoff between robustness and performance. While robust control methods provide rigorous guarantees on system stability under certain worst-case disturbances, they often yield simple controllers that perform poorly in the average (non-worst) case. In contrast, nonlinear control methods trained using deep learning have achieved state-of-the-art performance on many control tasks, but often lack robustness guarantees. In this paper, we propose a technique that combines the strengths of these two approaches: constructing a generic nonlinear control policy class, parameterized by neural networks, that nonetheless enforces the same provable robustness criteria as robust control. Specifically, our approach entails integrating custom convex-optimization-based projection layers into a neural network-based policy. We demonstrate the power of this approach on several domains, improving in average-case performance over existing robust control methods and in worst-case stability over (non-robust) deep RL methods.

研究の動機と目的

• 安全に重要なシステムの制御ポリシーにおけるロバスト性と性能のトレードオフを解消すること。
• 古典的ロバスト制御手法から証明可能なロバスト性保証を深層ニューラルネットワークベースの制御系が継承できることを実現すること。
• 最悪ケースの摂動下でも安定性を保ちつつ、平均ケース性能を犠牲にしないトレーニング可能な非線形ポリシークラスを開発すること。
• 凸最適化に基づく射影層をニューラルネットワークポリシーに統合し、ロバスト制御制約を強制すること。
• 本手法の有効性を、カート・ポール、クアッドローター、マイクログリッドシステムを含む多様な制御分野で示すこと。

提案手法

• 本手法は、名目上の深層ニューラルネットワークポリシーをベース制御系として用いる。
• ネットワーク出力を、ロバスト制御制約を満たすアクション集合に写像する微分可能で凸最適化に基づく射影層を適用する。
• 射影は、線形行列不等式（LMI）またはシステムの不確実性の非線形動的包含（NLDI）モデルから導かれた条件を介して安定性を強制する。
• 射影層は微分可能に設計されており、標準的な深層強化学習アルゴリズムを用いたエンドツーエンドのトレーニングを可能にする。
• 本手法は、H∞制御や線形微分包含（LDI）モデルを含む、さまざまなロバスト制御フレームワークをサポートする。
• 動的特性を多面体的またはノルム有界の線形化（PLDI/NLDI）により近似することで、線形および非線形システムの両方へ適用可能である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークポリシーは、高水準の平均ケース性能と証明可能な最悪ケースのロバスト性を両立して学習可能か？
• RQ2 トレーニング性を損なわず、非線形でデータ駆動型のポリシーにロバスト制御の保証を埋め込むにはどうすればよいか？
• RQ3 微分可能な射影層は、深層強化学習フレームワーク内でのロバスト制御の安定性基準をどの程度強制できるか？
• RQ4 敵対的摂動下において、本手法の性能は従来のロバスト制御手法および非ロバストな深層強化学習手法と比べてどのように異なるか？
• RQ5 本手法は、非線形および時変システムを含む多様な制御タスクに一般化可能か？

主な発見

• 提案手法は、ロバストLQRなどの従来のロバスト制御手法よりも平均ケース性能が優れており、最悪ケースの摂動下でも安定性を維持している。
• カート・ポールのドメインでは、非ロバストな深層強化学習手法が不安定化するか顕著に高い損失を示す敵対的摂動下でも、本手法は安定に保った。
• クアッドローターおよびマイクログリッドのドメインでは、最悪ケースの摂動下でも安定した性能を示し、非ロバストな深層強化学習ベースラインと比較して、安定性と平均ケース損失の両面で優れた性能を発揮した。
• 微分可能な射影層の統合により、LMIに基づく安定性条件を検証した上で、エンドツーエンドのトレーニングを維持しながら証明可能なロバスト性を確保できた。
• 数値的に導出された、おそらくは緩いが実用的である不確実性バウンドを用いることで、標準的なNLDI変換手法と比較してよりタイトなロバストネスバウンドを達成した。
• 実験的結果から、本手法は平均ケースのシナリオにおいてロバストLQRを上回る性能を発揮するとともに、最悪ケースの安定性を損なわないことが示された。