[論文レビュー] Deluca -- A Differentiable Control Library: Environments, Methods, and Benchmarking

Paula Gradu, John Hallman+8 more|arXiv (Cornell University)|Feb 19, 2021

Model Reduction and Neural Networks参考文献 29被引用数 5

ひとこと要約

Deluca は、JAX を使用して物理ベースのシミュレーションの動的特性を自動微分可能にする、オープンソースで微分可能制御ライブラリです。勾配ベースの制御手法の高速化を実現します。古典的制御タスク用および新しい医療用呼吸器シミュレータ用の微分可能環境を提供し、JIT コンパイルによりシミュレーション速度が 1000 倍以上向上し、保証付きの新たな手法を用いた適応制御および敵対的制御が可能になります。

ABSTRACT

We present an open-source library of natively differentiable physics and robotics environments, accompanied by gradient-based control methods and a benchmark-ing suite. The introduced environments allow auto-differentiation through the simulation dynamics, and thereby permit fast training of controllers. The library features several popular environments, including classical control settings from OpenAI Gym. We also provide a novel differentiable environment, based on deep neural networks, that simulates medical ventilation. We give several use-cases of new scientific results obtained using the library. This includes a medical ventilator simulator and controller, an adaptive control method for time-varying linear dynamical systems, and new gradient-based methods for control of linear dynamical systems with adversarial perturbations.

研究の動機と目的

• 強化学習や制御分野における、ネイティブに微分可能なオープンソースのシミュレーション環境の不足に対処すること。
• シミュレーションの動的特性を自動微分可能にすることで、勾配ベースの制御器の高速トレーニングを可能にすること。
• 適応制御や摂動下でのロバスト制御など、システムの動的特性の導関数を必要とする新しい制御手法を支援すること。
• LQR、GPC、H-infinity 制御を含む勾配ベースの制御アルゴリズムのベンチマークスイートを提供すること。
• 微分可能シミュレータを用いたデータ効率的でエンドツーエンドの学習制御器のトレーニングを可能にし、医療用呼吸器制御の事例を想定すること。

提案手法

• JAX の自動微分および JIT コンパイル機能を活用し、連続時間の力学的システムの微分可能シミュレーションを実現する。
• OpenAI Gym の変種環境および深層学習ベースの医療用呼吸器シミュレータを含む、微分可能環境のスイートを実装する。
• 線形および非線形システムの微分可能動的特性をサポートし、状態遷移およびコスト関数を経由した勾配計算を可能にする。
• 関数型プログラミングのプリミティブ（例：jax.lax.scan）を用いてシミュレーションループを最適化し、JIT コンパイル後は 1 ステップあたり 1 ナノ秒未塔の推論時間を達成する。
• AdaGPC、GPC、LQR といった最新の勾配ベースの制御手法を、誤差フィードバックを組み合わせて統合し、動的特性をネイティブに微分可能にする。
• カスタムの微分可能環境（ニューラルネットワークに基づくものも含む）を定義できるモジュラー API を提供する。

実験結果

リサーチクエスチョン

• RQ1 微分可能シミュレーションは、連続的制御タスクにおける制御方策のトレーニングを、より高速かつデータ効率的に行えるか？
• RQ2 微分可能シミュレーションは、時間変動する線形系に対する適応制御手法の性能と収束性をどのように向上させるか？
• RQ3 学習ベースの制御（例：医療用呼吸器制御）において、微分可能シミュレータはデータおよび計算リソースの要件をどの程度削減できるか？
• RQ4 保証付きの勾配ベース制御手法（例：誤差フィードバック付き GPC）は、ガウス分布、正弦波、定常摂動の下で、LQR や H-infinity 制御と比較してどのように性能を発揮するか？
• RQ5 モデルフリーのポリシー勾配法と微分可能動的特性に基づく最適化の間には、計算的・統計的トレードオフが生じるか？

主な発見

• Deluca は、標準的な NumPy に基づく実装と比較して、シミュレーション時間に 1000 倍以上の高速化を達成し、JIT コンパイル後は 1 回の反復あたり 38 ナノ秒まで短縮された。
• 微分可能呼吸器シミュレータにより、学習制御器のデータ効率的トレーニングが可能になり、実世界のデータやハイパーパramータチューニングの必要性が大幅に削減された。
• AdaGPC や GPC といった勾配ベースの制御手法は、逆ピンドルムタスクにおいて iLQR や LQR と比較して、時間変動および敵対的摂動に対して優れたロバスト性を示した。
• ライブラリにより、モンテカルロ推定を経由せずにポリシー勾配を直接計算可能となり、分散を低減し、決定的システムでは確率的ポリシーの必要性が排除された。
• 微分可能動的特性により、ゼロオーダーまたは尤度比勾配推定器と比較して、顕著なデータ効率性および計算複雑度の改善が得られた。
• ベンチマーク結果から、誤差フィードバック付き GPC はガウス分布、正弦波、定常摂動の下で LQR や H-infinity 制御を上回る性能を示し、微分可能ロバスト制御の価値を実証した。