[論文レビュー] Sparse Q-learning with Mirror Descent

Sridhar Mahadevan, Bo Liu|arXiv (Cornell University)|Oct 16, 2012

Model Reduction and Neural Networks参考文献 31被引用数 21

ひとこと要約

本稿では、Bregman散発に基づくproximal最適化手法としてのミラー降下を用いた、スパースなQ学習アルゴリズムを提案する。この手法は、pノルムやマハラノビス距離といったBregman散発を介したl1正則化を活用することで、従来の2次最適化手法に比べて著しく計算コストを低減した高次元強化学習問題の効率的解決を実現する。

ABSTRACT

This paper explores a new framework for reinforcement learning based on online convex optimization, in particular mirror descent and related algorithms. Mirror descent can be viewed as an enhanced gradient method, particularly suited to minimization of convex functions in highdimensional spaces. Unlike traditional gradient methods, mirror descent undertakes gradient updates of weights in both the dual space and primal space, which are linked together using a Legendre transform. Mirror descent can be viewed as a proximal algorithm where the distance generating function used is a Bregman divergence. A new class of proximal-gradient based temporal-difference (TD) methods are presented based on different Bregman divergences, which are more powerful than regular TD learning. Examples of Bregman divergences that are studied include p-norm functions, and Mahalanobis distance based on the covariance of sample gradients. A new family of sparse mirror-descent reinforcement learning methods are proposed, which are able to find sparse fixed points of an l1-regularized Bellman equation at significantly less computational cost than previous methods based on second-order matrix methods. An experimental study of mirror-descent reinforcement learning is presented using discrete and continuous Markov decision processes.

研究の動機と目的

• 強化学習における高次元価値関数近似の課題に、スパarsity誘導型最適化フレームワークを導入することで対処すること。
• 高価な2次行列更新に依存する従来のl1正則化Q学習手法の計算負荷を低減すること。
• オンライン凸最適化に裏付けられた、スケーラブルなproximal勾配ベースの時系列差分学習手法を開発すること。
• 適応的Bregman散発を用いたミラー降下により、離散的および連続的マルコフ決定過程の両方で効率的な学習を可能にすること。
• l1正則化ベルヌーイ方程式のスパース固定点が、2次代替手法に比べて1次ミラー降下を用いることでより効率的に得られることを示すこと。

提案手法

• 本手法は、距離生成関数としてBregman散発を用いたproximalアルゴリズムとしてのミラー降下を採用する。
• Legendre変換によって結びつけられたプライマル空間および双対空間における勾配更新を実行することで、高次元空間における効率的最適化を実現する。
• pノルムやサンプル勾配共分散に基づくマハラノビス距離を含む、さまざまなBregman散発を検討する。
• l1ペナルティによるQ値更新を正則化するproximal勾配TD手法を定式化し、スパarsityを促進する。
• 正則化されたベルヌーイ誤差を最小化しながらスパarsityを維持するミラー降下ステップを繰り返しQ値を更新する。
• 本手法は離散的および連続的MDPの両方へ適用され、環境にわたるスケーラビリティと頑健性を実証する。

実験結果

リサーチクエスチョン

• RQ1 Bregman散発を用いたミラー降下は、Q学習の正則化および価値関数表現におけるスパarsity誘導に効果的に適用可能か？
• RQ2 l1正則化Q学習におけるミラー降下ベースのQ学習の計算コストは、2次手法に比べてどの程度か？
• RQ3 マハラノビス距離をBregman散発として用いることで、高次元MDPにおける収束性およびスパarsityが向上するか？
• RQ4 提案手法は、既存のアプローチに比べてl1正則化ベルヌーイ方程式のスパース固定点をより効率的に得られるか？
• RQ5 スパースミラー降下Q学習の性能は、離散的および連続的制御タスクの両方でどのようにスケーリングするか？

主な発見

• 提案されたミラー降下Q学習手法は、従来の2次行列手法に比べ、l1正則化ベルヌーイ方程式のスパース固定点を著しく低い計算コストで達成する。
• マハラノビス距離をBregman散発として用いることで、高次元価値関数近似において収束が速くなり、スパarsityが向上する。
• 本手法は離散的および連続的マルコフ決定過程の両方で優れた性能を示し、スケーラビリティを実証する。
• pノルムBregman散発の使用により、Q値関数における効果的な正則化およびスパarsity制御が可能になる。
• 実験的結果から、アルゴリズムは多様なRL環境において高いサンプル効率と頑健性を維持することが示された。
• 本フレームワークは、2次l1正則化Q学習の計算効率的代替手段を提供し、スパース価値関数学習の実用化を可能にする。