[論文レビュー] Provably Efficient Maximum Entropy Exploration

Elad Hazan, Sham M. Kakade+2 more|arXiv (Cornell University)|Dec 6, 2018

Image and Signal Denoising Methods被引用数 94

ひとこと要約

この論文は、未知の MDP において、状態分布上の最大エントロピーのような内在的状態訪問目的を、 planning and density oracles を用いた Frank-Wolfe style approach で解く、証明可能に効率的なアルゴリズムを提供します。

ABSTRACT

Suppose an agent is in a (possibly unknown) Markov Decision Process in the absence of a reward signal, what might we hope that an agent can efficiently learn to do? This work studies a broad class of objectives that are defined solely as functions of the state-visitation frequencies that are induced by how the agent behaves. For example, one natural, intrinsically defined, objective problem is for the agent to learn a policy which induces a distribution over state space that is as uniform as possible, which can be measured in an entropic sense. We provide an efficient algorithm to optimize such such intrinsically defined objectives, when given access to a black box planning oracle (which is robust to function approximation). Furthermore, when restricted to the tabular setting where we have sample based access to the MDP, our proposed algorithm is provably efficient, both in terms of its sample and computational complexities. Key to our algorithmic methodology is utilizing the conditional gradient method (a.k.a. the Frank-Wolfe algorithm) which utilizes an approximate MDP solver.

研究の動機と目的

• 報酬が利用できないか、まばらな未知の MDP における探索を動機づける。
• 状態訪問分布に依存する内在的目的を定義し最適化する（例：エントロピー）。
• 近似計画オラクルと状態分布オラクルを用いて証明可能な効率を達成する方法を示す。
• 表形式および未知 MDP の結果を、サンプルと計算の保証とともに提供する。

提案手法

• 探索を、誘導された状態分布 dπ に対して凹関数 R(dπ) を最大化する問題として定式化する。
• 探索空間を、実現可能な状態分布の凸集合 K として表現し、最適化をこの空間に還元する。
• Frank-Wolfe (conditional gradient) スタイルのアルゴリズムを用い、反復的にポリシーをポリシー混合物に追加し重みを更新する。
• 各イテレーションで、推定分布における勾配から報酬 r_t を構築し、次に ApproxPlan オラクルを用いて r_t に対するほぼ最適なポリシーを得る。
• DensityEst オラクルで現在の状態分布を推定し、近似誤差を考慮する。
• R の滑らかさ仮定のもと、オラクル呼び出し回数が O(1/ε log 1/ε) に比例し、状態空間サイズに依存しないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 未知の MDP において、状態訪問分布上で定義された内在的目標を効率的に最適化できるか？
• RQ2 Frank-Wolfe style の手法と planning および density oracle がエントロピーベースの目的に対して多項式時間の保証を与えるか？
• RQ3 与えられた R に対して ε-サブ最適性を達成するために必要な planning および density estimation オラクル呼び出し回数はどれくらいか？
• RQ4 最大エントロピー探索における表形式と未知 MDP の設定でのサンプルおよび計算複雑性はどうなるか？

主な発見

• 効率的なアルゴリズム（Algorithm 1）は、ApproxPlan & DensityEst の呼び出しを O(1/ε log 1/ε) 回行った後、R(d_{π_mix_T}) を最適解から ε以内に達成する。
• エントロピーの最大化は、誘導された状態分布上で凹関数を最大化する問題として位置づけられ、分布空間での凸リフォームが得られる。
• 分布に対する最適化には定常ポリシーで十分である（π′(a|s) = dπ(s,a)/dπ(s) により）。
• 表形式既知 MDP の設定では、標準的な計画法で多項式時間で動作する。未知 MDP の設定では、サンプルベースの構成（Algorithms 2 と 3）は、指定されたエピソード複雑性で多項式時間保証を与える。
• 本論文は、滑らかな最適化を可能にする平滑化エントロピー代理 H_σ を提供し、その最適化保証を真のエントロピーへ結びつける。