[論文レビュー] IMPACT: Importance Weighted Asynchronous Architectures with Clipped Target Networks

Michael Luo, Jiahao Yao+3 more|arXiv (Cornell University)|Nov 30, 2019

Reinforcement Learning in Robotics参考文献 15被引用数 8

ひとこと要約

IMPACTは、重要度重み付き非同期経験収集とクリッピングされたターゲットネットワークを組み合わせた分散強化学習アルゴリズムを提案する。これにより、学習の安定性が向上し、1バッチあたり複数のSGDステップが可能となり、IMPALAに比べて最大30%高速な学習が達成され、離散的および連続的制御環境においてPPOレベルのサンプル効率を維持する。

ABSTRACT

The practical usage of reinforcement learning agents is often bottlenecked by the duration of training time. To accelerate training, practitioners often turn to distributed reinforcement learning architectures to parallelize and accelerate the training process. However, modern methods for scalable reinforcement learning (RL) often tradeoff between the throughput of samples that an RL agent can learn from (sample throughput) and the quality of learning from each sample (sample efficiency). In these scalable RL architectures, as one increases sample throughput (i.e. increasing parallelization in IMPALA), sample efficiency drops significantly. To address this, we propose a new distributed reinforcement learning algorithm, IMPACT. IMPACT extends IMPALA with three changes: a target network for stabilizing the surrogate objective, a circular buffer, and truncated importance sampling. In discrete action-space environments, we show that IMPACT attains higher reward and, simultaneously, achieves up to 30% decrease in training wall-time than that of IMPALA. For continuous control environments, IMPACT trains faster than existing scalable agents while preserving the sample efficiency of synchronous PPO.

研究の動機と目的

• 分散強化学習におけるサンプルスループットとサンプル効率のトレードオフを解消すること。
• ポリシー更新が同期されていない非同期学習環境において、PPOのサrogate目的関数を安定化すること。
• 非同期アーキテクチャで1バッチあたり複数のSGDステップを可能にしつつ、学習の安定性やサンプル効率を損なわないこと。
• 離散的および連続的制御タスクにおいて、同期PPOのサンプル効率を保ちながら、リアルタイム学習効率を向上させること。

提案手法

• 非同期学習におけるPPOサrogate目的関数の安定化のため、ターゲットネットワークを導入し、大きなポリシー更新を防ぐ信頼領域を形成する。
• 非同期に収集された経験を格納するための円形バッファを用い、制御されたリプレイを可能にし、リアルタイム性能とサンプル効率のバランスを取る。
• オフポリシー更新における分布シフトを補正するために、切り捨てられた重要度サンプリングを適用し、学習の安定性を向上させる。
• ターゲットネットワークからの安定化された目的関数を活用することで、学習者における1バッチあたりの複数のSGDステップを可能にする。
• ターゲットネットワークを活用してアドバンテージと価値推定を計算し、ポリシー評価を主ポリシー更新から分離する。
• 学習者を設計して円形バッファからサンプリングを行い、遅延経験を伴う効率的で安定した学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 非同期分散強化学習環境において、1バッチあたり複数のSGDステップを可能にするために、安定したサrogate目的関数を維持できるか？
• RQ2 円形バッファの使用が、リアルタイムスループットとサンプル効率のトレードオフにどのように影響するか？
• RQ3 重要度重み付きでクリッピングされたターゲットネットワークを用いることで、サンプル効率を損なわず、どの程度学習速度を向上できるか？
• RQ4 IMPACTは、多様な環境においてPPOおよびIMPALAと比較して、ウォールクロック時間とサンプル効率の点でどのように異なるか？
• RQ5 離散的制御と連続的制御タスクにおいて、最適なパラメータ設定（例：バッファサイズ、リプレイ長）は何か？

主な発見

• IMPACTは、離散的制御環境においてIMPALAに比べて最大30%の学習ウォールクロック時間を短縮し、サンプル効率を維持または向上させる。
• 連続的制御タスク（Hopper, Humanoid, HalfCheetah）において、IMPACTは既存のスケーラブルなエージェントを上回る速度で学習を実行し、同期PPOと同等のサンプル効率を達成する。
• 連続的制御において、N=16およびK=20の円形バッファが、リプレイの利点とスループットの両方をバランスよく提供する強力なパフォーマンスを示す。
• 離散的制御においては、N=1およびK=2が最適な結果をもたらし、これらの設定では新鮮な経験がリプレイされた経験よりも価値が高いことを示している。
• IMPACTは、ワーカー数の増加に伴い良好にスケーリングするが、ワーカー数が増えるにつれて性能向上の効果が段階的に小さくなる。
• アブレーションスタディの結果、ターゲットネットワークと重要度重み付けは、非同期環境における安定的で効率的な学習に不可欠であることが確認された。