[論文レビュー] CT-DQN: Control-Tutored Deep Reinforcement Learning

Francesco De Lellis, Marco Coraggio+3 more|arXiv (Cornell University)|Dec 2, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

CT-DQNは、制御チュートリアルを統合した制御チュートリアル付き深層強化学習フレームワークを導入し、シンプルなモデルベースの制御チュートリアルをDeep Q-Networksに組み込むことで学習を加速する。近似されたシステムダイナミクスから導かれるヒューリスティック制御行動を、探索の一部として定期的に適用することで、3つのOpenAI Gym環境において著しく高速な収束と向上したデータ効率を達成した。標準DQNと比較して、より少ない訓練エピソードで同等または優れた性能を達成した。

ABSTRACT

One of the major challenges in Deep Reinforcement Learning for control is the need for extensive training to learn the policy. Motivated by this, we present the design of the Control-Tutored Deep Q-Networks (CT-DQN) algorithm, a Deep Reinforcement Learning algorithm that leverages a control tutor, i.e., an exogenous control law, to reduce learning time. The tutor can be designed using an approximate model of the system, without any assumption about the knowledge of the system's dynamics. There is no expectation that it will be able to achieve the control objective if used stand-alone. During learning, the tutor occasionally suggests an action, thus partially guiding exploration. We validate our approach on three scenarios from OpenAI Gym: the inverted pendulum, lunar lander, and car racing. We demonstrate that CT-DQN is able to achieve better or equivalent data efficiency with respect to the classic function approximation solutions.

研究の動機と目的

• 制御のための深層強化学習で一般的に見られる長時間の訓練を短縮するためのメカニズムを導入すること。
• システムダイナミクスの完全な知識を必要とせず、近似されたシステムモデルに基づく制御チュートリアルを活用するフレームワークを設計すること。
• 訓練中にヒューリスティックな制御提案で探索をガイドすることで、深層Q学習のデータ効率を向上させること。
• 複雑度が増す制御タスクにわたり、アプローチの妥当性とスケーラビリティを検証すること。
• DRLにおけるチュートリアル設計とパフォーマンスバウンズの形式的分析の基盤を確立すること。

提案手法

• CT-DQNは、訓練中に制御チュートリアルを提示するDeep Q-Networks (DQN)の拡張版を導入する。
• チュートリアルは、システムダイナミクスの近似モデルに基づくシンプルなフィードバック制御則であり、真のダイナミクスの正確な知識を必要としない。
• 学習中、固定確率 $\omega$ でチュートリアルが行動を提示し、その提案行動をDQNポリシーの探索と混合する。
• チュートリアルは状態に基づくヒューリスティクスを使用する：例として、速度が低くかつ角度が小さい場合は加速し、角度がしきい値を超える場合はブレーキをかける。
• 経験リプレイ、ターゲットネットワーク、および標準DQNコンponentsを用い、環境ごとにハイパーパrameterを最適化する。
• フレームワークは、インバーテッドペンドulum、ランチャーランダー、カー・レーシングの3つの環境で評価され、テーブル型および深層ニューラルネットワーク近似器を用いた。

実験結果

リサーチクエスチョン

• RQ1 正確なシステムダイナミクスの知識がなくても、シンプルでモデルベースの制御チュートリアルが、深層強化学習における学習時間を顕著に短縮できるか？
• RQ2 制御チュートリアルの統合が、複雑な制御タスクにおけるデータ効率と最終ポリシー性能に与える影響は何か？
• RQ3 チュートリアルの提案品質と訓練における学習加速の度合いには相関があるか？
• RQ4 多様な制御シナリオにおいて、CT-DQNは標準DQNよりも累積報酬と収束速度の面で優れているか？
• RQ5 限られたシステム情報に基づくチュートリアル設計が、最終ポリシーの安定性と有効性に与える影響は何か？

主な発見

• CT-DQNは、3つの環境すべてで標準DQNよりも迅速に収束し、エピソードごとの累積報酬がより速やかに増加した。
• カー・レーシング環境では、ランダムに生成されたトラック上で250エピソードの訓練後、CT-DQNはDQNよりも顕著に高いグリーディポリシー性能（$J^{\pi_{\text{greedy}}}$）を達成した。
• 基本的なヒューリスティクス（例：角度と速度のしきい値）に基づく非常にシンプルなチュートリアルでさえ、学習時間を顕著に短縮した。これはチュートリアルの品質に頼らずに強い性能を示す。
• 特にランチャーランダーとカー・レーシングのような複雑なタスクでは、ダイナミクス知識が限られているにもかかわらず、チュートリアルが意味のあるガイダンスを提供した。
• チュートリアル単体ではタスクを解くことができない場合でも、ポリシーの有効性を損なわず、一貫した性能向上が得られた。
• ハイパーパrameterチューニングにより、異なるネットワークアーキテクチャや訓練設定においても、本手法が安定的かつ有効であることが確認された。