[論文レビュー] Experience Replay with Likelihood-free Importance Weights

Samarth Sinha, Jiaming Song+2 more|arXiv (Cornell University)|Jun 23, 2020

Reinforcement Learning in Robotics参考文献 39被引用数 20

ひとこと要約

本稿では、アクター・クリティック強化学習における経験再生のための、尤度フリーな重要度重み付けを提案する。密度比推定に基づく分類器を用いて、現在の方策の定常分布における尤度に基づき経験を優先順位付けする。この手法は、サンプル効率を向上させ、Mujoco環境において一様抽出や従来の優先順位付け手法（PER や ERE）と比較して優れた性能を達成する。

ABSTRACT

The use of past experiences to accelerate temporal difference (TD) learning of value functions, or experience replay, is a key component in deep reinforcement learning. Prioritization or reweighting of important experiences has shown to improve performance of TD learning algorithms.In this work, we propose to reweight experiences based on their likelihood under the stationary distribution of the current policy. Using the corresponding reweighted TD objective, we implicitly encourage small approximation errors on the value function over frequently encountered states. We use a likelihood-free density ratio estimator over the replay buffer to assign the prioritization weights. We apply the proposed approach empirically on two competitive methods, Soft Actor Critic (SAC) and Twin Delayed Deep Deterministic policy gradient (TD3) -- over a suite of OpenAI gym tasks and achieve superior sample complexity compared to other baseline approaches.

研究の動機と目的

• 現在の方策の定常分布における経験の頻度に基づいて重み付けすることで、オフポリシー深層強化学習におけるサンプル効率を向上させること。
• 優先順位付け経験再生（PER）のようなヒューリスティックな優先順位付け手法の限界を解決すること。PERは高TD誤差の状態に注目するが、本稿では高頻度状態に注目する。
• 実用的で、再生バッファ内のオンポリシーとオフポリシー経験分布間の密度比を明示的な尤度計算を避けて推定する、尤度フリーな手法を開発すること。
• SAC や TD3 といった最先端のアクター・クリティックアルゴリズムに、アーキテクチャの変更なしに提案された重み付け方式を統合すること。
• 頻度の高い状態を優先することで、より良い価値関数推定と高速な方策学習が達成されることを実証的に検証すること。

提案手法

• 本手法は、高速再生バッファからの近似オンポリシー経験と、遅速再生バッファからのオフポリシー経験を区別する分類器を用い、それらの間の密度比を推定する。
• 推定された密度比がQ値更新の目的関数における重要度重みとして機能し、現在の方策の下で尤度が高い状態・行動ペアの更新を優遇する。
• 定常分布の下で期待TD誤差を最小化することが、ベルマン作用素の収縮性を向上させることを示す理論的分析に基づく。
• 尤度計算を明示的に行わないことで、尤度フリーな密度比推定器を用い、複雑で高次元の環境へも適用可能である。
• 重要度重みはTD学習目的関数に直接適用され、結果として再生バッファがオンポリシーに近づくように再重み付けされる。
• 既存のアクター・クリティックアルゴリズムと互換性があり、学習パイプラインへの最小限の変更で統合可能である。

実験結果

リサーチクエスチョン

• RQ1 定常方策分布における尤度に基づいて経験再生を再重み付けすることで、アクター・クリティック手法におけるサンプル効率が向上するか？
• RQ2 高TD誤差の状態ではなく、頻繁に訪問される状態を優先することで、価値関数推定と方策性能が向上するか？
• RQ3 明示的な密度モデルを必要とせず、定常分布の尤度を尤度フリーな密度比推定器で効果的に近似できるか？
• RQ4 サンプル複雑性と最終的性能の観点から、PER や ERE といった従来の優先順位付け方式と比較して、本手法はどのように差をつけるか？
• RQ5 温度パラメータ、再生バッファサイズ、ネットワーク幅といったハイパーパrameterの選択に対して、本手法はロバストか？

主な発見

• 提案手法であるLFIWは、SACを用いた5つのMuJoCoタスクのうち4つで、一様抽出、PER、EREと比較して優れたサンプル複雑性を達成した。TD3を用いた全タスクでも同様の優位性を示した。
• Humanoid-v2では、SAC+LFIWは真のQ値と0.74のピアソン相関を達成したのに対し、SAC単体では0.41にとどまり、Q関数推定の質が著しく向上したことが示された。
• 密度比推定に用いた分類器は73.1%の正答率と87.3%の適合率を達成し、重要度重みがオンポリシーに類似した経験を効果的に特定していることが確認された。
• アブレーションスタディにより、温度、再生バッファサイズ、ネットワーク幅といったハイパーパラメータの変動に対してもLFIWはロバストであることが示された。
• Hopperのような、方策が早期に収束する環境では、LFIWに改善が見られない。これは、遅速バッファに既に大部分がオンポリシー経験が含まれていることから、本手法のオンポリシー近接性に焦点を当てた設計が妥当であることを裏付けている。
• LFIWとPERを併用しても恩恵が得られなかった。これは、PERの目的（Q学習の最大化）が、オンポリシー精度が重要となるアクター・クリティックの目的と整合しないことを示唆している。