[論文レビュー] Enhanced Experience Replay Generation for Efficient Reinforcement Learning

Vincent Huang, Tobias Ley+2 more|arXiv (Cornell University)|May 23, 2017

Reinforcement Learning in Robotics参考文献 8被引用数 3

ひとこと要約

本稿では、スパースで遅いデータサンプリングが特徴のリアルタイムシステムにおける強化学習（RL）の高速化を目的として、強化GANベースの経験再生（EGAN）を提案する。状態-行動-報酬の関係を活用して合成データの品質を向上させることで、EGANはRLエージェントの事前学習を実施し、事前学習なしの場合に比べ20%の訓練時間短縮と、標準GANベースの事前学習に比べ5%の性能向上を達成し、性能のばらつきも低減した。

ABSTRACT

Applying deep reinforcement learning (RL) on real systems suffers from slow data sampling. We propose an enhanced generative adversarial network (EGAN) to initialize an RL agent in order to achieve faster learning. The EGAN utilizes the relation between states and actions to enhance the quality of data samples generated by a GAN. Pre-training the agent with the EGAN shows a steeper learning curve with a 20% improvement of training time in the beginning of learning, compared to no pre-training, and an improvement compared to training with GAN by about 5% with smaller variations. For real time systems with sparse and slow data sampling the EGAN could be used to speed up the early phases of the training process.

研究の動機と目的

• 5G通信システムを含むリアルタイム強化学習（RL）環境における、遅くスパースなデータサンプリングの課題に対処すること。
• サービス品質への影響を考慮した探索リスクを伴う実世界のRLアプリケーションで一般的に見られる長期的な訓練期間を短縮すること。
• 生成モデルから得られる合成経験を用いてRLエージェントの事前学習を実施し、サンプル効率を向上させること。
• 標準GANを超えて、状態・行動・報酬の関係をモデル化することで、生成された経験の品質を向上させること。
• 生産環境で重要なシステムにおいて、収束を速くし、安定した学習を可能にする、強固で効率的な事前学習フレームワークの開発。

提案手法

• ターゲット環境でランダムポリシーを用いて、実際の経験（500エピソード分）の小さなデータセットを収集する。
• 実際の経験データを用いて、生成対抗ネットワーク（GAN）を訓練し、合成された状態-行動-報酬タプルを生成する。
• 生成されたサンプルの品質を向上させるために、状態と行動の条件付き関係をモデル化する「Enhancer」ニューラルネットワークを導入する。
• 品質向上済みの合成データ（6000バッチ）を用いて、オンライン学習の前段階でRLエージェントのポリシー・ネットワークを事前学習する。
• オンライン学習にはプロキシマル・ポリシー最適化（PPO）を適用し、事前学習済みポリシーを初期値として使用する。
• 100エピソードの移動平均報酬を用いて、訓練曲線を比較し、事前学習なしと標準GANベースの事前学習とでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 GANによって生成された合成経験を用いてRLエージェントを事前学習することで、スパースなデータが特徴の実世界環境において最適性能に到達するまでの時間を顕著に短縮できるか？
• RQ2 生成プロセスにおいて状態-行動-報酬関係をモデル化することで、RLの事前学習に有用な合成経験の品質と有用性がどのように向上するか？
• RQ3 提案されたEGANフレームワークは、標準GANベースの事前学習および事前学習なしのケースと比較して、サンプル効率と訓練の安定性を向上させるか？
• RQ4 実際の生産環境システムにおいて、コストと性能向上のバランスをとる最適な事前学習長（エピソード数）は何か？
• RQ5 EGANは、学習曲線のばらつきをどの程度低減させ、RLエージェントのロバストネスの向上を示すか？

主な発見

• EGANによる事前学習は、事前学習なしの場合に比べて訓練に要する時間を20%短縮し、顕著なサンプル効率の向上を示した。
• EGANアプローチは、標準GANベースの事前学習に比べて学習速度で5%の向上を達成しており、エンハンサー部が有効にデータ品質を向上させていることを示している。
• EGANで事前学習されたエージェントの学習曲線は、初期上昇が急峻であり、より良い初期化による迅速なポリシー最適化を示している。
• 移動平均報酬曲線における標準偏差帯が狭くなっていることから、性能のばらつきが低く抑えられており、より高いロバストネスを示している。
• 500エピソード分の実データを用いた事前学習は、長期間の事前学習（例：5000エピソード）よりもコスト効率が良く、過剰なデータ負荷を伴わず、強力な性能向上を達成している。
• EGANによる品質向上済みの合成データは、累積サンプル数が少ない状態でも高い平均報酬を達成できるようにし、スパース環境におけるサンプル効率の向上を確認した。