[論文レビュー] Fast rates for online learning in Linearly Solvable Markov Decision Processes

Gergely Neu, Vicenç Gómez|arXiv (Cornell University)|Feb 21, 2017

Advanced Bandit Algorithms Research参考文献 36被引用数 4

ひとこと要約

本論文は、線形的に解けるマーケィオフ決定過程（LMDP）のための新しいオンライン学習アルゴリズムを提案し、単純な「リーダーに従う」戦略が $ O("log^2 T) $ のレグレットバウンドを達成することを示している。これは、従来の $ O(T^{3/4}) $ のバウンドよりも顕著に改善されたものである。主な洞察は、コスト関数に対して最適制御方策の滑らかさが、正則化なしに高速収束を可能にすることにある。

ABSTRACT

We study the problem of online learning in a class of Markov decision processes known as linearly solvable MDPs. In the stationary version of this problem, a learner interacts with its environment by directly controlling the state transitions, attempting to balance a fixed state-dependent cost and a certain smooth cost penalizing extreme control inputs. In the current paper, we consider an online setting where the state costs may change arbitrarily between consecutive rounds, and the learner only observes the costs at the end of each respective round. We are interested in constructing algorithms for the learner that guarantee small regret against the best stationary control policy chosen in full knowledge of the cost sequence. Our main result is showing that the smoothness of the control cost enables the simple algorithm of following the leader to achieve a regret of order $\log^2 T$ after $T$ rounds, vastly improving on the best known regret bound of order $T^{3/4}$ for this setting.

研究の動機と目的

• 変化するコスト関数に対して、学習者が各ラウンド後にのみコストを観測するという状況におけるMDPにおけるオンライン学習の課題に取り組む。
• コスト系列を完全に把握している最良の定常方策に対して、低レグレットを達成するアルゴリズムを設計する。
• 線形的に解けるMDPの構造的性質を活用して、これまでに知られているものよりも高速な学習レートを達成する。
• コスト関数の変化に対する最適方策の滑らかさが、正則化なしに対数的レグレットを実現可能にすることを示す。

提案手法

• アルゴリズムは「リーダーに従う」戦略を用い、現在のラウンドまでに累積コストを最小化する方策を選択する。
• 解析は、LMDPの線形構造を活用し、最適方策のコスト関数に対するリプシッツ連続性に依存している。
• レグレットバウンドは、方策のずれ、コスト推定誤差、混合時間の影響の3つの成分に分解して導出される。
• 重要な技術的ステップとして、混合時間 $ \tau $ を用いて、指数的減衰と幾何級数を活用し、方策間の $ \ell_1 $-距離をバウンドする。
• 時間ステップの和の分解を用い、テールの挙動を制御するために閾値 $ B = \lfloor t - \tau \log t \rfloor $ で和を分割する。
• 最終的なレグレットバウンドは、時間の和をとることで導出され、調和級数の対数的バウンドと幾何的減衰を用いる。

実験結果

リサーチクエスチョン

• RQ1 任意のコスト系列において、LMDPのオンライン学習におけるレグレットは $ O(T^{3/4}) $ のバウンドを越えて改善可能か？
• RQ2 LMDPにおける最適方策の滑らかさが、オンライン学習設定での高速収束を可能にするか？
• RQ3 'リーダーに従う'アルゴリズムが、明示的な正則化なしにLMDPで対数的レグレットを達成可能か？
• RQ4 LMDPにおける損失関数は指数的凸性を示すか？そうでない場合、構造的性質が依然として高速レートを可能にするか？

主な発見

• 'リーダーに従う'アルゴリズムは $ O(\log^2 T) $ のレグレットバウンドを達成し、従来の $ O(T^{3/4}) $ のバウンドよりも顕著に改善されている。
• レグレットバウンドは混合時間 $ \tau $ に対して多項式的依存性を持ち、最小遷移確率 $ p^* $ に対して対数的依存性を持つ。ここで $ B = -\log p^* $ である。
• 解析により、最適方策のコスト関数に対する滑らかな依存性が、正則化なしに迅速な学習を可能にすることが示された。
• 損失関数の指数的凸性を仮定せず、バウンドが導出されたことから、この設定における高速レートの代替メカニズムが存在することが示唆された。
• レグレットバウンドの主要定数を明示的に特定したため、定量的明確性において先行研究を上回った。
• 著者らは、より洗練されたアルゴリズムを用いることで、バウンドを $ O(\log T) $ までさらに改善可能であると予想しているが、現在の手法ですでに非常に効率的である。