[論文レビュー] Improved Exploring Starts by Kernel Density Estimation-Based State-Space Coverage Acceleration in Reinforcement Learning

Maximilian Schenke, Oliver Wallscheid|arXiv (Cornell University)|May 19, 2021

Control Systems and Identification被引用数 5

ひとこと要約

本論文では、状態空間のカバレッジを向上させるために、核密度推定（KDE）に基づくDESSCAを提案する。DESSCAは、訪問頻度が低い状態を優先することで、強化学習における探索の質を向上させる。KDEを用いて訪問密度を推定し、希少な領域を向いた初期状態選択を促進することで、離散化を伴わず、連続状態空間において学習の安定性と最終的な性能を向上させる。特に、モーターコントロールタスクにおいて、標準的な探索開始法と比較して、中央値性能が最大10.9%向上した。

ABSTRACT

Reinforcement learning (RL) is currently a popular research topic in control engineering and has the potential to make its way to industrial and commercial applications. Corresponding RL controllers are trained in direct interaction with the controlled system, rendering them data-driven and performance-oriented solutions. The best practice of exploring starts (ES) is used by default to support the learning process via randomly picked initial states. However, this method might deliver strongly biased results if the system's dynamic and constraints lead to unfavorable sample distributions in the state space (e.g., condensed sample accumulation in certain state-space areas). To overcome this issue, a kernel density estimation-based state-space coverage acceleration (DESSCA) is proposed, which improves the ES concept by prioritizing infrequently visited states for a more balanced coverage of the state space during training. Compared to neighbouring methods in the field of count-based exploration, DESSCA can also be applied to continuous state spaces without the need for artificial discretization of the states. Moreover, the algorithm allows to define arbitrary reference state distributions such that the state coverage can be shaped w.r.t. the application needs. Considered test scenarios are mountain car, cartpole and electric motor control environments. Using DQN and DDPG as exemplary RL algorithms, it can be shown that DESSCA is a simple yet effective algorithmic extension to the established ES approach that enables an increase in learning stability as well as the final control performance.

研究の動機と目的

• システムのダイナミクスや制約下で、ランダムな初期状態選択によって引き起こされる状態空間の偏りを是正すること。
• 人工的な離散化を伴わず、連続状態空間におけるよりバランスの取れた効率的な探索を可能にする手法の開発。
• カスタムの参照分布を定義することで、タスク固有の状態カバレッジの形状を調整可能にする。
• ターゲット化された初期化戦略により、訓練の効率と最終的な制御性能を向上させること。
• DQN や DDPG といった既存の強化学習アルゴリズムに簡単に統合可能な拡張手法の提供。

提案手法

• 核密度推定（KDE）を用いて、訪問済み状態の経験的密度を推定し、状態空間内の未探索領域を特定する。
• アプリケーションのニーズに応じて、望ましいカバレッジを形成するための参照状態分布 $ c^*({\bm{x}}) $ を定義する。
• 推定密度 $ \hat{c}({\bm{x}}) $ と参照分布 $ c^*({\bm{x}}) $ の乖離を最小化する初期状態を探索するため、粒子群最適化（PSO）を用いる。
• 推定密度 $ \hat{c}({\bm{x}}) $ が低い領域（すなわち、希少な領域）からの初期状態選択を促進し、カバレッジを加速する。
• DQN や DDPG アルゴリズムにおける標準的な探索開始法に、DESSCA戦略をプラグイン型拡張として統合する。
• 低性能コントローラ（LPC）の利用を仮定することで、実世界のシステムとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 KDEに基づく状態空間カバレッジの加速は、連続状態強化学習における探索効率を向上させることができるか？
• RQ2 標準的なランダム探索開始法と比較して、DESSCAは学習の安定性と最終的性能において優れているか？
• RQ3 DESSCAは、さまざまな制御タスクにおいて、性能のばらつきをどれほど低減し、ロバストネスを向上させることができるか？
• RQ4 特に高次元連続環境において、状態空間の離散化なしにDESSCAを効果的に適用できるか？
• RQ5 参照分布の選択が、タスク固有の状況におけるカバレッジと性能にどのように影響を与えるか？

主な発見

• PMSM電流制御タスクにおいて、DESSCAは制御性能の四分位範囲を 1.734% 減少させ、一貫性の向上を示した。
• マウンテンカ環境では、DESSCAにより中央値性能が 91.941% から 92.206% に上昇し、相対的改善は +0.289% であった。
• カートポールタスクでは、DESSCAにより中央値性能が 77.738% から 77.308% に低下したが、差は統計的に有意ではなかった。
• PMSM電流制御シナリオでは、DESSCAが中央値性能を 10.944% 相対的に向上させ、標本平均の 95%信頼区間が [86.587%, 88.325%] であった。
• すべてのテスト環境において、学習の安定性が向上し、性能の散らばりが減少した。特に、追従制御問題において顕著であった。
• DESSCAは、離散化を伴わず連続状態空間における有効な探索を可能にしたため、複雑なダイナミクスを有する産業制御応用に適している。