[論文レビュー] Optimal Reinforcement Learning for Gaussian Systems

Philipp Hennig|arXiv (Cornell University)|Jun 4, 2011

Advanced Bandit Algorithms Research参考文献 29被引用数 10

ひとこと要約

この論文は、ベイズ的不確実性下での最適学習のダイナミクスを記述する、1階の無限次元偏微分方程式を導出することで、非線形で時変なガウス過程系における最適強化学習を定式化する。主な貢献は、探索と活用の統合的制御を可能にする微分方程式フレームワークであり、これにより、ベンチマークタスクで標準的手法を上回る性能を示す、新しいガウス過程ベースの強化学習アルゴリズムが実現される。

ABSTRACT

The exploration-exploitation trade-off is among the central challenges of reinforcement learning. The optimal Bayesian solution is intractable in general. This paper studies to what extent analytic statements about optimal learning are possible if all beliefs are Gaussian processes. A first order approximation of learning of both loss and dynamics, for nonlinear, time-varying systems in continuous time and space, subject to a relatively weak restriction on the dynamics, is described by an infinite-dimensional partial differential equation. An approximate finite-dimensional projection gives an impression for how this result may be helpful.

研究の動機と目的

• 連続時間・連続空間における不確実性下での扱いが困難なベイズ的最適強化学習問題に取り組む。
• 非線形で時変なシステムにおける最適な探索・活用のバランスをとる、実用的な解析的フレームワークを構築する。
• カルマンフィルターやガウス過程に関する先行研究を、一般の非線形ダイナミクスおよび損失関数へと拡張する。
• 最適学習プロセスのダイナミクスを記述する微分方程式を導出し、学習とシステム行動の両方を最適に制御可能にする。

提案手法

• 既知のカーネルと事前分布を持つ独立なガウス過程を用いて、ダイナミクスと損失関数の不確実性をモデル化する。
• ベイズ推論下での最適学習の進化を支配する、1階の無限次元偏微分方程式を導出する。
• 関数型を用いて無限次元ダイナミクスを有限次元部分空間に射影することで、実用的な計算を可能にする。
• 変分近似を用いて問題を有限次元の最小二乗推定に還元し、アルゴリズムの実装を可能にする。
• 得られたアルゴリズムを、Furutaの振り子やカートアンドポール系といった制御タスクに適用する。
• TD(λ)、ε-greedy、カルマンフィルターベースの学習者といったベースライン手法と性能を比較検証する。

実験結果

リサーチクエスチョン

• RQ1 信念がガウス過程である場合、最適強化学習を微分方程式として定式化できるか？
• RQ2 非線形で時変な連続系において、探索と活用のトレードオフを最適にバランスさせることは可能か？
• RQ3 ガウス過程事前分布を用いたベイズ推論下での最適学習ダイナミクスの構造はいかなるものか？
• RQ4 無限次元の最適学習プロセスの制御を、実際にはどのように有限次元近似できるか？
• RQ5 ガウス過程事前分布は、そうでなければ取り扱いが困難なベイズ的強化学習問題に対して、どの程度の解法の可能性を提供できるか？

主な発見

• ガウス過程系における最適強化学習プロセスは、信念と制御の進化を支配する1階の無限次元偏微分方程式で記述される。
• 関数型による有限次元近似により、最小二乗推定に基づく実用的な強化学習アルゴリズムが可能になる。
• 提案されたガウス過程学習者では、Furutaの振り子タスクで割合損失6.0 ± 1.4を達成し、TD(λ)やカルマンフィルターベースのベースラインを上回った。
• GPベースの手法は振り子を正常にスイングアップさせたが、他の手法はほとんど探索を行わず、安定化に失敗した。
• 結果から、特に時変または割合損失問題において、保守的または直感的な手法だけでは最適な探索が達成できないことが示された。
• 本手法は、事前仮定が予測性能および制御性能に与える重要な役割を浮き彫りにし、モデル依存性から逃れることはできないことを強調している。