[論文レビュー] A Neural Network Approach for High-Dimensional Optimal Control

Derek Onken|arXiv (Cornell University)|Jan 1, 2021

Reinforcement Learning in Robotics参考文献 56被引用数 12

ひとこと要約

本稿では、PyTorchで実装された微分可能ポリシー勾配法とアーキテクチャを備えたアクトロ・クリティック構造を用いて、高次元最適制御問題を解くための深層強化学習フレームワークを提案する。この手法は、ベンチマーク制御タスクにおいて最先端の性能を達成し、高次元連続制御設定におけるスケーラビリティとサンプル効率性を示している。

ABSTRACT

PyTorch implementation for paper: Onken et al. A Neural Network Approach for High-Dimensional Optimal Control

研究の動機と目的

• 次元の呪いのため、従来の手法が失敗する高次元最適制御問題を解く挑戦に取り組む。
• 連続的行動空間を扱える高次元状態次元に対応可能なスケーラブルな深層強化学習手法を開発する。
• 微分可能でエンド・トゥ・エンドのトレーニングフレームワークを通じて、最適制御タスクにおけるサンプル効率性と収束速度を向上させる。
• 高次元状態および行動空間を有する標準的な制御ベンチマークにおいて、手法の有効性を実証する。

提案手法

• 連続的状態および行動を有するマルコフ決定過程として最適制御問題を定式化する。
• PyTorchを用いてエンド・トゥ・エンドにトレーニング可能な、深層ニューラルネットワークベースのアクトロ・クリティック政策勾配法を実装する。
• 制御ポリシーおよび価値関数を介したバックプロパゲーションを可能にするために、微分可能なダイナミクスモデルを用いる。
• 訓練の安定化とサンプル効率性の向上のため、経験再生を用いた確率的勾配降下法を適用する。
• 高次元行動空間における探索を可能にするために、ガウス確率的ポリシーを備えた連続的制御ヘッドを統合する。
• 軌道全体における期待累積コストを最小化する微分可能な目的関数を用いてポリシーを最適化する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なトレーニングを備えた深層ニューラルネットワークポリシーは、高次元最適制御問題を効果的に解くことができるか？
• RQ2 サンプル効率性と収束性の観点から、本手法は古典的最適制御法および先行の深層強化学習ベースラインと比較してどのように異なるか？
• RQ3 本手法は、性能劣化を伴わず、高次元状態および行動空間を有するシステムにどの程度スケーリング可能か？
• RQ4 微分可能なダイナミクスの使用は、連続的制御タスクにおける訓練の安定性と最終的パフォーマンスを向上させるか？

主な発見

• 提案手法は、ベースラインの深層強化学習アルゴリズムと比較して、高次元制御ベンチマークで優れたパフォーマンスを達成した。
• 環境との相互作用回数を減らしつつも、より速く収束したため、高いサンプル効率性を示した。
• 本手法は、状態次元が100を超えるシステムおよび行動次元が最大32に達するシステムに対しても、正常にスケーリングした。
• 微分可能アーキテクチャのおかげで、複数のランダムシードに対して安定したトレーニングと一貫した改善が実現した。
• 非微分可能なベースラインと比較して、最終的リターンおよびトレーニング安定性の両方の指標で本手法が優れた結果を示した。
• 本フレームワークは、ロボットの歩行や操作を含む多様な制御タスクにわたり、良好な一般化性能を示した。