[論文レビュー] Mixed Policy Gradient.

Yang Guan, Jingliang Duan+4 more|arXiv (Cornell University)|Feb 23, 2021

Reinforcement Learning in Robotics参考文献 24被引用数 4

ひとこと要約

本稿では、収束速度を向上させつつ漸近的性能を損なわずに、データ駆動型とモデル駆動型のポリシー勾配を組み合わせる新しい強化学習手法であるMixed Policy Gradient (MPG) を提案する。時間の経過に伴いデータ駆動型ポリシー勾配の重みを段階的に増加させることで、MPGはベースラインと比較してより高速な学習と優れた性能を達成する。

ABSTRACT

Reinforcement learning (RL) has great potential in sequential decision-making. At present, the mainstream RL algorithms are data-driven, relying on millions of iterations and a large number of empirical data to learn a policy. Although data-driven RL may have excellent asymptotic performance, it usually yields slow convergence speed. As a comparison, model-driven RL employs a differentiable transition model to improve convergence speed, in which the policy gradient (PG) is calculated by using the backpropagation through time (BPTT) technique. However, such methods suffer from numerical instability, model error sensitivity and low computing efficiency, which may lead to poor policies. In this paper, a mixed policy gradient (MPG) method is proposed, which uses both empirical data and the transition model to construct the PG, so as to accelerate the convergence speed without losing the optimality guarantee. MPG contains two types of PG: 1) data-driven PG, which is obtained by directly calculating the derivative of the learned Q-value function with respect to actions, and 2) model-driven PG, which is calculated using BPTT based on the model-predictive return. We unify them by revealing the correlation between the upper bound of the unified PG error and the predictive horizon, where the data-driven PG is regraded as 0-step model-predictive return. Relying on that, MPG employs a rule-based method to adaptively adjust the weights of data-driven and model-driven PGs. In particular, to get a more accurate PG, the weight of the data-driven PG is designed to grow along the learning process while the other to decrease. Besides, an asynchronous learning framework is proposed to reduce the wall-clock time needed for each update iteration. Simulation results show that the MPG method achieves the best asymptotic performance and convergence speed compared with other baseline algorithms.

研究の動機と目的

• 数百万回の反復を要するデータ駆動型強化学習の収束が遅いという問題に対処する。
• 時間遡及による誤差逆伝播（BPTT）に基づくモデル駆動型RL手法の数値的不安定性、モデル誤差への感受性、低効率性を克服する。
• 最適性の保証を維持しつつ、学習速度を向上させるために、データ駆動型とモデル駆動型のポリシー勾配を統合するフレームワークを構築する。
• 訓練の進行に伴いデータ駆動型ポリシー勾配への依存度を高める適応的重み付け機構を設計し、勾配の正確性を向上させる。
• 計算遅延を低減し、学習効率を向上させるために、非同期学習フレームワークを設計する。

提案手法

• 2種類のポリシー勾配を構築する：データ駆動型ポリシー勾配は、学習済みQ値関数を行動変数に関して直接微分することで得られ、モデル駆動型ポリシー勾配は、モデル予測リターンに対するBPTTにより得られる。
• 予測ホライズンとの理論的関連性を確立することで、2つのポリシー勾配を統合する。
• データ駆動型ポリシー勾配を0ステップのモデル予測リターンとして扱い、モデル駆動型ポリシー勾配との正式な統合を可能にする。
• 訓練中にデータ駆動型ポリシー勾配の重みを増やし、モデル駆動型ポリシー勾配の重みを減らすルールベースの適応的重み付け戦略を実装する。
• 計算遅延を低減し、学習効率を向上させるために、非同期学習フレームワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型とモデル駆動型のポリシー勾配を、強化学習における収束速度の向上に効果的に統合する方法は何か？
• RQ2 統合されたポリシー勾配の誤差バウンダリーと予測ホライズンとの間には、どのような理論的関係があるか？
• RQ3 訓練の進行に伴い変化する適応的重み付けスキームが、勾配の正確性と学習効率を向上させられるか？
• RQ4 提案手法MPGは、既存のRLアルゴリズムと比較して、収束速度および漸近的性能の点でどのように差をつけるか？
• RQ5 非同期学習フレームワークは、ポリシー品質を劣化させることなく、壁時計時間あたりの更新イテレーションをどの程度短縮できるか？

主な発見

• シミュレーションにおいて、MPGは評価されたすべてのベースラインアルゴリズムの中で最良の漸近的性能を達成した。
• 提案手法は、純粋なデータ駆動型およびモデル駆動型RLアプローチと比較して、収束速度が著しく高速化された。
• 適応的重み付け機構により、訓練の進行に伴いデータ駆動型ポリシー勾配の寄与度が自然に増加し、勾配の正確性が向上した。
• 非同期学習フレームワークにより、更新イテレーションあたりの壁時計時間が短縮され、学習効率が向上した。
• 理論的分析により、統合されたポリシー勾配の誤差バウンダリーが予測ホライズンが長くなるに従い減少することが確認され、本手法の設計が正当化された。