[論文レビュー] Continuous-action Reinforcement Learning for Playing Racing Games: Comparing SPG to PPO

Mario Holubar, Marco Wiering|arXiv (Cornell University)|Jan 15, 2020

Reinforcement Learning in Robotics参考文献 16被引用数 8

ひとこと要約

この論文は、OpenAI Gym用の連続的制御レーシング環境を導入し、サンプルドポリシーグラデーション（SPG）とプロキシマルポリシーオプティマイゼーション（PPO）の、ランダムに生成されたトラック上で車両を制御する能力を比較する。SPGのための重み付きアクションサンプリング拡張と、性能を損なわずに学習速度を向上させるハイブリッドエクスペリエンスリプレイ技術を提案し、エクスペリエンスリプレイを適用したSPGがPPOを上回ることを明らかにしたが、PPOは連続的アクション空間ではエクスペリエンスリプレイの恩恵を受けていない。

ABSTRACT

In this paper, a novel racing environment for OpenAI Gym is introduced. This environment operates with continuous action- and state-spaces and requires agents to learn to control the acceleration and steering of a car while navigating a randomly generated racetrack. Different versions of two actor-critic learning algorithms are tested on this environment: Sampled Policy Gradient (SPG) and Proximal Policy Optimization (PPO). An extension of SPG is introduced that aims to improve learning performance by weighting action samples during the policy update step. The effect of using experience replay (ER) is also investigated. To this end, a modification to PPO is introduced that allows for training using old action samples by optimizing the actor in log space. Finally, a new technique for performing ER is tested that aims to improve learning speed without sacrificing performance by splitting the training into two parts, whereby networks are first trained using state transitions from the replay buffer, and then using only recent experiences. The results indicate that experience replay is not beneficial to PPO in continuous action spaces. The training of SPG seems to be more stable when actions are weighted. All versions of SPG outperform PPO when ER is used. The ER trick is effective at improving training speed on a computationally less intensive version of SPG.

研究の動機と目的

• 深層強化学習アルゴリズムのベンチマーク評価を目的とした、拡張性のある連続的アクションを有するレーシング環境の開発。
• 複雑で現実に近いダイナミクスを有する連続的制御設定におけるSPGとPPOの性能比較。
• 連続的アクション空間におけるPPOとSPGに対するエクスペリエンスリプレイの影響の調査。
• 学習速度を向上させつつ性能を維持する、新たなハイブリッドエクスペリエンスリプレイ技術の提案と評価。
• SPGの学習安定性と性能を向上させるための、重み付きアクションサンプリング手法の導入と検証。

提案手法

• 連続的状態空間とアクション空間を備えたカスタムレーシング環境をOpenAI Gymに実装し、速度、ステアリング、トラック制約を含む現実の自動車ダイナミクスをシミュレート。
• Q値ネットワークを用いてアクションをサンプリングし、ポリシーを更新するSPGを実装。ポリシー更新時に高価値アクションを優先する重み付きサンプリング戦略を採用。
• PPOを対数空間で動作させるように変更し、古いアクション確率を再重み付けすることで、連続的アクション空間でもエクスペリエンスリプレイを有効に利用可能にする。
• 訓練を2段階に分けるハイブリッドエクスペリエンスリプレイ技術を提案：まずリプレイバッファの遷移で学習し、その後最新の経験で学習を継続することで、学習速度を向上させつつ性能を維持。
• アクターおよびクリティックネットワークにtanh活性化関数を用いたマルチレイヤーパーセプトロン（MLP）を採用。各エピソードごとに別々の最適化ステップを実施し、ミニバッチSGDを用いる。
• 統計的妥当性と公平性を確保するため、異なるランダムに生成されたサーキットを用いて、各アルゴリズムで5回の独立実験を実施。

実験結果

リサーチクエスチョン

• RQ1 エクスペリエンスリプレイは、連続的アクション強化学習タスクにおけるPPOの学習パフォーマンスを向上させるか？
• RQ2 重み付きアクションサンプリング戦略は、連続的制御におけるSPGの安定性とパフォーマンスを向上させることができるか？
• RQ3 古くからの経験と最新の経験を組み合わせたハイブリッドエクスペリエンスリプレイ手法は、SPGにおける学習速度と最終的パフォーマンスにどのような影響を与えるか？
• RQ4 エクスペリエンスリプレイが適用された場合、SPGは連続的アクションレーシング環境でPPOを上回る性能を示すか？
• RQ5 提案された対数空間PPOバージョンは、連続的アクション空間においてエクスペリエンスリプレイを効果的に活用できるか、その程度はどの程度か？

主な発見

• エクスペリエンスリプレイは、連続的アクション空間におけるPPOのパフォーマンスを向上させない。標準バージョンと対数空間バージョンの両方でほぼ同一の結果を示し、リプレイによる顕著な向上は見られない。
• ハイブリッドエクスペリエンスリプレイ技術は、SPGにおける学習速度を顕著に向上させつつ、最終パフォーマンスを維持または上回る。標準バージョンおよび複数エポックSPGバージョンを上回る。
• SPGにおける重み付きアクションサンプリングは、より安定した学習をもたらし、パフォーマンスのピークや分散が低減されるが、最終パフォーマンスの顕著な向上は見られない。
• エクスペリエンスリプレイを適用したSPGは、すべての設定においてPPOを一貫して上回る。特に、ハイブリッドリプレイを用いた1エポックSPGバージョンは、より遅い複数エポックバージョンと同等のパフォーマンスを達成した。
• PPOはエクスペリエンスリプレイの恩恵を受けておらず、混合リプレイデータを用いた対数空間PPOバージョンは勾配爆発を引き起こし、長期的な学習が不可能になった。
• 複数エポックSPGバージョンは1エポックバージョンよりも不安定であり、より頻繁に負の報酬スパイクが観察された。これは、SPGにおいて単純な訓練スケジュールが好ましい可能性を示唆している。