[論文レビュー] MULEX: Disentangling Exploitation from Exploration in Deep RL

Lucas Beyer, Damien Vincent+4 more|arXiv (Cornell University)|Jul 1, 2019

Reinforcement Learning in Robotics参考文献 25被引用数 8

ひとこと要約

MULEXは、探索と活用を明示的に分離することで、並列にそれぞれの目的を最適化する新しい深層強化学習フレームワークを提案する。1つのリプレイバッファ内で遷移を共有し、オフポリシー手法を用いることで、サンプル効率とロバスト性が向上し、特に報酬がスパarsityな難易度の高い環境（例：Montezuma's Revengeの変種）において、$\epsilon$-greedy や追加ボーナス手法などのベースラインを上回る性能を発揮する。

ABSTRACT

An agent learning through interactions should balance its action selection process between probing the environment to discover new rewards and using the information acquired in the past to adopt useful behaviour. This trade-off is usually obtained by perturbing either the agent's actions (e.g., e-greedy or Gibbs sampling) or the agent's parameters (e.g., NoisyNet), or by modifying the reward it receives (e.g., exploration bonus, intrinsic motivation, or hand-shaped rewards). Here, we adopt a disruptive but simple and generic perspective, where we explicitly disentangle exploration and exploitation. Different losses are optimized in parallel, one of them coming from the true objective (maximizing cumulative rewards from the environment) and others being related to exploration. Every loss is used in turn to learn a policy that generates transitions, all shared in a single replay buffer. Off-policy methods are then applied to these transitions to optimize each loss. We showcase our approach on a hard-exploration environment, show its sample-efficiency and robustness, and discuss further implications.

研究の動機と目的

• 深層強化学習における長年の探索-活用トレードオフを、2つの目的を分離することで解決すること。
• 共有ポリシーまたは報酬形状によって探索と活用が混同される既存手法の限界を克服すること。
• 従来の探索戦略が失敗する報酬がスパarsityな環境において、サンプル効率とロバスト性を向上させること。
• 探索ボーナスの段階的減少やメタパrameterのチューニングの必要性を回避することで、安定的かつスケーラブルな学習を可能にすること。
• さまざまな内在的探索ボーナスおよびオフポリシー手法との統合を可能にする汎用フレームワークを提供すること。

提案手法

• 真のタスク報酬（活用）のための1つの損失と、探索目的（例：カウントベースボーナス）のための他の損失を並列に最適化する。
• 各損失を用いて別々のポリシーを学習させ、それらが生成する遷移をすべて1つの共有リプレイバッファに格納する。
• DQNなどのオフポリシー強化学習アルゴリズムを用い、共有された経験バッファを使って各ポリシーを最適化する。
• ポリシー更新プロセスを分離する：活用者（exploiter）は環境の累積報酬を最大化することに集中し、探索者（explorer）は探索ボーナスを最大化することを目的とする。
• 経験の共有によってポリシー間の動的相互作用を可能にし、活用者が探索的軌道の恩恵を受けるようにする。
• パラメータ変更なしに、さまざまな内在的探索メカニズム（例：擬似カウント、ノベルティ測定）をプラグアンドプレイで統合可能にする。

実験結果

リサーチクエスチョン

• RQ1 探索と活用の明示的分離が、深層強化学習におけるサンプル効率の向上に寄与するか？
• RQ2 MULEXは、$\epsilon$-greedy や追加ボーナス手法と比較して、学習速度および安定性においてどのように異なるか？
• RQ3 MULEXは、不完全または近似された探索ボーナスの下でも、どの程度の性能を維持できるか？
• RQ4 MULEXは、難易度が上昇するモンテズマのレインジ・バージョンのような複雑で報酬がスパarsityな環境へスケーリング可能か？
• RQ5 MULEXは、内在的報酬の段階的減少を必要とせず、長期間にわたる学習（生涯学習）を維持できるか？

主な発見

• MULEXは、難易度の高いモンテズマのレインジ変種において、$\epsilon$-greedy や追加ボーナスベースラインを顕著に上回り、部屋サイズが大きくなるほど中央値性能が向上する。
• 15×15の部屋設定では、MULEXが追加法よりも高い中央値AUCを達成しており、探索ボーナスのより効果的な活用を示している。
• 移動壁を備えたバージョンでは、MULEXは両ベースラインを一貫して上回り、誤った探索シグナルに対してもロバストであることを示している。
• 確率的ゴースト環境では、MULEXがベースラインよりも良好な平均性能を維持しているが、すべての手法が苦戦しており、確率的環境における改善の余地があることを示している。
• 擬似カウントに基づく探索ボーナスを用いた場合、MULEXはほぼすべてのハイパーパramータ設定で最大の報酬を達成したのに対し、追加法は慎重なチューニングを要した。
• アブレーションスタディにより、MULEXは個々のコンponentsよりも高速かつ安定して学習することが確認され、分離最適化の利点が裏付けられた。