[論文レビュー] Value function approximation via low-rank models

Hao Yi Ong|arXiv (Cornell University)|Aug 31, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用数 14

ひとこと要約

本稿では、ロバスト主成分分析（RPCA）を用いた主成分追求（PCP）により真の価値関数を回復する、低ランクかつスパースな行列分解手法を提案する。提案手法は、テストされたMDPにおいて、元の行列サイズの2%未塔のメモリでほぼ完璧な近似を達成し、最適方策の性能を保持する。

ABSTRACT

We propose a novel value function approximation technique for Markov decision processes. We consider the problem of compactly representing the state-action value function using a low-rank and sparse matrix model. The problem is to decompose a matrix that encodes the true value function into low-rank and sparse components, and we achieve this using Robust Principal Component Analysis (PCA). Under minimal assumptions, this Robust PCA problem can be solved exactly via the Principal Component Pursuit convex optimization problem. We experiment the procedure on several examples and demonstrate that our method yields approximations essentially identical to the true function.

研究の動機と目的

• 大規模MDPにおける次元の呪いを、状態行動価値関数の低い内在次元性を活用することで解決すること。
• 最適方策の性能を保持する、状態行動価値関数のコンパクトな表現を開発すること。
• 効率的な近似のため、価値関数行列を低ランクおよびスパース成分に分解するためにロバストPCAを適用すること。
• 連続MDPにおいて、低ランク＋スパースモデルが最適方策と区別できない性能を達成することを検証すること。

提案手法

• すべての状態行動ペairの値を符号化する行列 M ∈ ℝ^{m×n} として状態行動価値関数を定式化する。
• M を低ランク成分 L₀ とスパース成分 S₀ の重ね合わせとしてモデル化する：M = L₀ + S₀。
• 凸最適化により分解を解くために主成分追求（PCP）を用いる：L + S = M を満たす条件下で、‖L‖⁎ + λ‖S‖₁ を最小化する。
• 低ランク構造を凸近似するため核ノルム（‖·‖⁎）を、Sにおけるスパース性を促進するための ℓ¹ノルム（‖·‖₁）を用いる。
• ADMM（交替方向乗数法）アルゴリズムを用いてPCP問題を解き、MATLABおよびCでのMEXインターフェースにより実装する。
• L のSVDによる低ランク近似と S のスパース補正を組み合わせることで、効率的なリアルタイムのポリシー再構成を実現する。

実験結果

リサーチクエスチョン

• RQ1 連続MDPにおける状態行動価値関数の近似に、低ランクかつスパースな行列分解が効果的であるか。
• RQ2 低ランク＋スパースモデルは、完全な価値関数と比較して、どの程度最適方策の性能を保持するか。
• RQ3 価値関数近似において、顕著な性能低下を伴わずにどの程度のメモリ圧縮が達成可能か。
• RQ4 構造的ノイズや外れ値を含むMDPにおいて、ロバストPCAは価値関数近似のための実用的で正確な手法とみなせるか。

主な発見

• マウンテンカー課題では、低ランク＋スパースモデルが、最適方策と完全に一致する54.461秒のゴール到達時間を達成した。
• インバーテッドペンドルムでは、真の立ち位置からの平均偏差が0.442にとどまり、最適な0.441とわずかに劣るにとどまった。
• マウンテンカーでは4.887×10⁴個の非ゼロ要素（元のサイズの4.887%）、インバーテッドペンドルムでは3.136×10⁵個（12.5%）のメモリで、それぞれ2%未塔および13%未塔のサイズに圧縮された。
• ポリシーのヒートマップの可視的評価では、元のモデルと低ランク＋スパースモデルとの間にほとんど差が認められ、特にインバーテッドペンドルムのケースで顕著であった。
• PCPに基づく分解は、スパース成分が大きな絶対値を持つ場合やサポートが未知であっても、真の価値関数構造を最小限の誤差で回復できた。
• 本手法は連続MDPに一般化しやすく、価値関数が低い内在次元性を持つ場合、低ランクかつスパースモデルによるコンパクトな表現が可能であることが示された。