[論文レビュー] Representation Policy Iteration

Sridhar Mahadevan|arXiv (Cornell University)|Jul 4, 2012

Machine Learning and Algorithms参考文献 18被引用数 33

ひとこと要約

本論文は、リーマン多様体理論とホッジ理論を用いて、大規模なマルコフ決定過程（MDP）における価値関数近似のための最適な基底関数を自動で学習する、新しいフレームワークである表象方策反復（RPI）を紹介する。ラプラシアン＝ベルトラミー作用素の固有関数から正規直交基底関数を構築することで、状態空間におけるグローバルなフーリエ様解析を可能にし、LSPIの実験において、手作業で設計された基底関数よりも著しく優れた方策学習を実現する。

ABSTRACT

This paper addresses a fundamental issue central to approximation methods for solving large Markov decision processes (MDPs): how to automatically learn the underlying representation for value function approximation? A novel theoretically rigorous framework is proposed that automatically generates geometrically customized orthonormal sets of basis functions, which can be used with any approximate MDP solver like least squares policy iteration (LSPI). The key innovation is a coordinate-free representation of value functions, using the theory of smooth functions on a Riemannian manifold. Hodge theory yields a constructive method for generating basis functions for approximating value functions based on the eigenfunctions of the self-adjoint (Laplace-Beltrami) operator on manifolds. In effect, this approach performs a global Fourier analysis on the state space graph to approximate value functions, where the basis functions reflect the largescale topology of the underlying state space. A new class of algorithms called Representation Policy Iteration (RPI) are presented that automatically learn both basis functions and approximately optimal policies. Illustrative experiments compare the performance of RPI with that of LSPI using two handcoded basis functions (RBF and polynomial state encodings).

研究の動機と目的

• 大規模なMDPにおける価値関数近似のための有効な表現を自動で学習するという課題に対処すること。
• 手作業で設計された特徴に依存せずに、幾何学的にカスタマイズされた基底関数を理論的に裏付けられた方法で生成すること。
• 表現学習を方策反復と統合することで、近似MDPソルバにおけるサンプル効率と収束性を向上させること。
• 状態空間の内在的幾何構造を活用することで、グローバルかつトポロジーに配慮した関数近似を可能にすること。
• 従来の手作業で設計された符号化（RBFや多項式など）と比較して、学習された表現が優れていることを実証すること。

提案手法

• リーマン多様体上の滑らかな関数による価値関数の座標に依存しない表現を用いる。
• ホッジ理論を適用して、ラプラシアン＝ベルトラミー作用素の固有関数から正規直交基底関数を構築する。
• 状態空間グラフ上でグローバルなフーリエ解析を実行し、大規模なトポロジカル構造を捉える。
• 学習された基底関数を方策反復フレームワークに統合し、RPIアルゴリズムを構築する。
• 基底関数の生成における数学的厳密性と安定性を保証するため、自己随伴なラプラシアン＝ベルトラミー作用素を用いる。
• 最小二乗方策反復（LSPI）を含む、任意の近似MDPソルバに、原理的かつ一貫性のある基底集合を提供する。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体上のラプラシアン＝ベルトラミー作用素の固有関数に基づく幾何学的インスパイラションを受けた、自動的な基底関数生成法は、手作業で設計された基底関数を上回る性能を示せるか？
• RQ2 リーマン多様体上でのラプラシアン＝ベルトラミー作用素の固有関数を用いることで、大規模なMDPにおける方策学習はどのように向上するか？
• RQ3 多様体論を用いて捉えられる状態空間のトポロジカル構造は、関数近似と方策収束性をどの程度向上させるか？
• RQ4 座標に依存しない、内在的な価値関数表現は、より強固で一般化可能な方策をもたらすか？
• RQ5 表現学習を方策反復に統合することで、標準的なLSPIと比較して、サンプル効率と性能はどのように変化するか？

主な発見

• RPIは、手作業で設計された基底関数（RBFおよび多項式符号化）を用いたLSPIと比較して、収束速度と最終的な方策品質の両面で顕著に優れている。
• ラプラシアン＝ベルトラミー作用素の固有関数から得られる自動的に学習された基底関数は、ヒューリスティックな符号化よりも、状態空間の内在的幾何構造をより効果的に捉えている。
• 本手法により、グローバルかつトポロジーに配慮した価値関数の近似が可能となり、より正確で安定した方策評価が実現された。
• 実験的結果から、RPIフレームワークはベースライン手法と比較して、価値関数近似の収束が速く、誤差が低いことが示された。
• ホッジ理論から導かれる正規直交基底関数の使用により、関数近似における数値的安定性と一般化性能が向上した。
• 本フレームワークは、LSPIに限らず、任意の近似MDPソルバと互換性があるため、広範な応用が可能である。