[論文レビュー] Efficient Exploration via State Marginal Matching

Lisa Lee, Benjamin Eysenbach+4 more|arXiv (Cornell University)|Jun 12, 2019

Reinforcement Learning in Robotics参考文献 66被引用数 95

ひとこと要約

本論文は強化学習における探索を State Marginal Matching (SMM) として再定義する。これはポリシーの状態訪問がターゲット状態分布と一致する分布マッチング目的である。密度モデルとポリシーの間で二人プレイヤー／ゼロ和ゲームを導入し、虚偽プレイを最適化に用い、より速く、広範な探索と新しいタスクへの適応性を示す。ポリシー混合拡張（SM4）を含む。

ABSTRACT

Exploration is critical to a reinforcement learning agent's performance in its given environment. Prior exploration methods are often based on using heuristic auxiliary predictions to guide policy behavior, lacking a mathematically-grounded objective with clear properties. In contrast, we recast exploration as a problem of State Marginal Matching (SMM), where we aim to learn a policy for which the state marginal distribution matches a given target state distribution. The target distribution is a uniform distribution in most cases, but can incorporate prior knowledge if available. In effect, SMM amortizes the cost of learning to explore in a given environment. The SMM objective can be viewed as a two-player, zero-sum game between a state density model and a parametric policy, an idea that we use to build an algorithm for optimizing the SMM objective. Using this formalism, we further demonstrate that prior work approximately maximizes the SMM objective, offering an explanation for the success of these methods. On both simulated and real-world tasks, we demonstrate that agents that directly optimize the SMM objective explore faster and adapt more quickly to new tasks as compared to prior exploration methods.

研究の動機と目的

• SMMを探索の原理的な目的として定義し、それがタスクに依存しない探索ポリシーを生み出すことを示す。
• 虚偽プレイを用いた二人対戦・ゼロ和ゲームとして、状態密度モデルとポリシーの間の実用的な最適化フレームワークを提案する。
• マルチモーダルなターゲット分布に対処し探索を加速するため、SMMをポリシーの混成（Mixtures of policies）へ拡張する。
• SMMを従来の探索手法と関連付け、それらがほぼMMM挙動を示すことと歴史的平均化の重要性を説明する。

提案手法

• ポリシー pi によって訪問される状態周辺分布 rho_pi(s) とターゲット分布 p*(s) を定義する。
• SMM目的を KL(rho_pi(s) || p*(s)) を最小化する形式で定式化し、等価的には r(s)=log p*(s) - log rho_pi(s) および状態エントロピー項を追加して E[r(s)] を最大化する。
• 歴史的なポリシー状態に対して密度モデル q(s) を適合させることと、擬似報酬 r(s) を最大化するようポリシーを更新することを交互に行う、虚偽プレイを用いた実用的アルゴリズムを開発する。
• 収束を保証し振動を防ぐため、ポリシーと密度の歴史的平均化機構を導入する。
• 潜在成分を識別する識別器と混合状態周辺を持つ、混成ポリシー（SM4）へ拡張し、マルチモーダルな分布マッチングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 探索を状態周辺の分布マッチング問題として定式化できるか。
• RQ2 SMMを介して状態エントロピーを最大化することは、タスクをまたいで一般化する単一で頑健な探索ポリシーを生み出すか。
• RQ3 ポリシーの混成は、マルチモーダルなターゲット状態分布に対する探索を改善できるか。
• RQ4 SMMは従来の予測誤差ベースの探索手法とどのように関連し、統一するのか。
• RQ5 提案された虚偽プレイ最適化は収束し、複雑なタスクで既存の探索戦略を上回るか。

主な発見

• SMMは、模擬タスクおよび実タスクの双方で、従来の探索手法より高速な探索とより良い適応をもたらす。
• 予測誤差ベースの手法は時間を平均するとSMM目的を概ね最適化するが、歴史的平均化なしには振動的な挙動を示すことがある。
• 収束と効果的な探索のためには、歴史的平均化（虚偽プレイ）機構が重要である。
• ポリシーの混成（SM4）はテスト時の探索をさらに加速し、下流タスクの性能を改善する。
• FetchおよびD’Clawの実験で、SMMはより広い状態カバー範囲を達成し、ベースラインよりも広いオブジェクト角度やノブ回転の範囲を探索する。
• SMMはタスク非依存の探索前処理を提供し、下流タスクをベースラインより迅速に解決できる。