[論文レビュー] Active Exploration in Markov Decision Processes

Jean Tarbouriech, Alessandro Lazaric|arXiv (Cornell University)|Feb 28, 2019

Advanced Bandit Algorithms Research被引用数 22

ひとこと要約

本稿では、未知のノイズレベル下で状態平均を正確に推定するために戦略的にナビゲートする必要があるマルコフ決定過程（MDP）におけるアクティブエクスプロレーションを導入する。フランク＝ウォルフUCBと新しいポリシー改善ヒューリスティクスを組み合わせることで、提案されたFW-AMEアルゴリズムは、$ frac{1}{3}$のレグレットレート$ frac{1}{3}$を達成し、制御されたエクスプロレーションとミキシングポリシーの必要性から、MDPにおけるアクティブエクスプロレーションがマルチアームドバンディットよりもはるかに複雑であることを示している。

ABSTRACT

We introduce the active exploration problem in Markov decision processes (MDPs). Each state of the MDP is characterized by a random value and the learner should gather samples to estimate the mean value of each state as accurately as possible. Similarly to active exploration in multi-armed bandit (MAB), states may have different levels of noise, so that the higher the noise, the more samples are needed. As the noise level is initially unknown, we need to trade off the exploration of the environment to estimate the noise and the exploitation of these estimates to compute a policy maximizing the accuracy of the mean predictions. We introduce a novel learning algorithm to solve this problem showing that active exploration in MDPs may be significantly more difficult than in MAB. We also derive a heuristic procedure to mitigate the negative effect of slowly mixing policies. Finally, we validate our findings on simple numerical simulations.

研究の動機と目的

• 未知で不均一なノイズレベル下で状態平均を正確に推定することを目的としたMDPにおけるアクティブエクスプロレーション問題を形式化すること。
• 制約付きMDP設定において、ノイズ推定のためのエクスプロレーションと正確な平均予測のためのエクスプロイトのバランスをとる課題に対処すること。
• 既知のMDPダイナミクスとエルゴディシティ下で、レグレットが消える学習アルゴリズムを開発すること。
• 緩和されたミキシングポリシーの影響を軽減するためのヒューリスティックな凸最適化手順を用いて、推定精度への悪影響を軽減すること。
• 混合性が制御可能な合成Garnet MDP上で数値シミュレーションを実施し、理論的発見を検証すること。

提案手法

• FW-AMEアルゴリズムは、フランク＝ウォルフUCBをMDPに拡張し、ポリシー最適化とアクティブエクスプロレーションを統合し、信頼区間に基づく行動選択を採用する。
• アルゴリズムは状態分散の経験的推定値を維持し、高ノイズ状態に多くのサンプルが必要なため、それらの状態へのエクスプロレーションを誘導する。
• FMH-SDP（高速混合ヒューリスティクス - 半正定値計画法）に基づく新しいヒューリスティクスを導入し、より速いミキシングで可逆なポリシーを計算することで、推定の安定性を向上させる。
• レグレット解析では、誤差を2つの成分に分解する：経験的ポリシー分布からの推定誤差と、FMH-SDP緩和からの近似誤差。
• アルゴリズムはエピソード単位で動作し、蓄積された観測に基づいてポリシーを更新し、時間とともに収縮する信頼区間を用いることで収束を保証する。
• 理論的解析により、レグレットが$\widetilde{O}(t^{-1/3})$にスケーリングすることが示され、これは既知のダイナミクス下でのMDPにおけるアクティブエクスプロレーションで初めてのレートである。

実験結果

リサーチクエスチョン

• RQ1 状態遷移の必要性から、MDPにおけるアクティブエクスプロレーションはマルチアームドバンディットにおけるそれと根本的にどのように異なるか？
• RQ2 MDPのダイナミクスが既知で、MDPがエルゴディックである場合に、アクティブエクスプロレーションのためのレグレット最小化アルゴリズムを設計できるか？
• RQ3 ゆっくりとミキシングするポリシーが平均推定精度に与える影響は何か？ そして、その影響をどのように軽減できるか？
• RQ4 凸最適化フレームワークを用いて、推定性能を向上させるより速いミキシングポリシーを計算できるか？
• RQ5 未知の状態分散下で、MDPにおけるアクティブエクスプロレーションの最適なレグレットレートは何か？

主な発見

• FW-AMEアルゴリズムは、既知のダイナミクス下でのMDPにおけるアクティブエクスプロレーションで初めてのレートである$ frac{1}{3}$のレグレットレート$ frac{1}{3}$を達成した。
• レグレット解析により、ポリシー推定の誤差が$O(1/\sqrt{\gamma(\widehat{\psi})\tau_k})$で有界であることが示され、ここで$\gamma$はミキシング速度を測る指標で、$\tau_k$はエピソード長である。
• FMH-SDPヒューリスティクスは近似誤差$\delta_{\tau_k}$を$O(1/\sqrt{\tau_k})$まで低減し、同じレグレットオーダーを維持しながらミキシング特性を改善した。
• Garnet MDP上で実施した数値シミュレーションにより、アルゴリズムが状態固有のノイズレベルに適応し、ベースライン手法よりも高い推定精度を達成することが確認された。
• レグレットバウンド$ frac{1}{3}$における指数$ frac{1}{3}$は、エピソード長$m=3$のとき最大となり、エクスプロレーションとエクスプロイトの最適なトレードオフが実現されていることを示している。
• 状態分散が未知であっても、アルゴリズムは推定ノイズに基づいて動的にサンプリングを調整するため、高分散状態での精度が向上し、ロバストであることが示された。