[論文レビュー] Reinforcement Learning in POMDP's via Direct Gradient Ascent

Jonathan Baxter, Peter L. Bartlett|ArXiv.org|Dec 2, 2025

Reinforcement Learning in Robotics参考文献 27被引用数 88

ひとこと要約

この論文は GPOMDP を導入し、単一のサンプル経路を用いた POMDP における平均報酬の REINFORCE に類似した勾配推定量を提案するとともに、勾配ベースの最適化手法 CONJPOMDP を提示し、収束性と toy 実験での検証を示す。

ABSTRACT

This paper discusses theoretical and experimental aspects of gradient-based approaches to the direct optimization of policy performance in controlled POMDPs. We introduce GPOMDP, a REINFORCE-like algorithm for estimating an approximation to the gradient of the average reward as a function of the parameters of a stochastic policy. The algorithm's chief advantages are that it requires only a single sample path of the underlying Markov chain, it uses only one free parameter $β\in [0,1)$, which has a natural interpretation in terms of bias-variance trade-off, and it requires no knowledge of the underlying state. We prove convergence of GPOMDP and show how the gradient estimates produced by GPOMDP can be used in a conjugate-gradient procedure to find local optima of the average reward.

研究の動機と目的

• 部分観測環境（POMDP）におけるポリシー性能の勾配ベースの直接最適化を動機づけ、研究する。
• 最小限の状態情報と単一のサンプル経路を必要とする実用的な勾配推定量を開発する。
• 平均報酬 η(θ) の局所最適解を見つける共役勾配ベースの最適化手法を提供する。
• 提案手法の収束性を確立し、実験で検証する。

提案手法

• POMDP におけるパラメトリック確率的ポリシーの長期平均報酬 η(θ) を最大化する目的を定義する。
• 割引値 Jβ および極限勾配 ∇βη によって解ける推定量へと導く η(θ) の勾配分解を導出する。
• β∈[0,1) の下で zt の再帰とオンライン平均 Δt を用いて単一軌跡から ∇βη(θ) を推定する GPOMDP を導入する。
• ∇βη(θ) が β→1 時に ∇η(θ) に収束することを示し、バイアスをマルコフ連鎖の混合時間 τ* と関連づける。
• ノイズのあるまたは biased な勾配推定を用いて η を最大化する共役勾配最適化法 CONJPOMDP を提案し、GSEARCH 線探査で勾配情報のみを用いて最大値を括る。
• GPOMDP の勾配推定、バイアス・分散のトレードオフ、ポリシー訓練を説明する 3 状態 MDP を用いた toy 実験を述べる。

実験結果

リサーチクエスチョン

• RQ1 POMDP でポリシーパラメータに対する平均報酬の勾配を単一のサンプル経路だけで推定できるか。
• RQ2 勾配推定量 (GPOMDP) における割引因子 β はバイアスと分散をどうバランスするか。
• RQ3 GPOMDP を用いた勾配ベースの方法を CONJPOMDP の共役勾配最適化と組み合わせて、POMDP において局所最適ポリシーを効果的に見つけられるか。
• RQ4 GPOMDP と CONJPOMDP を適用した単純な toy POMDP で、バイアス-分散のトレードオフや収束など、どんな経験的挙動が現れるか。

主な発見

Origin State	Action	A	B	C
A	a1	0.0	0.8	0.2
A	a2	0.0	0.2	0.8
B	a1	0.8	0.0	0.2
B	a2	0.2	0.0	0.8
C	a1	0.0	0.8	0.2
C	a2	0.0	0.2	0.8

• GPOMDP は、単一のサンプル経路のみを必要とし、K 個のポリシー参数に対して 2K 個の数値を保存する、平均報酬の REINFORCE に類似した勾配推定量を提供する。
• 勾配推定量 ∇βη は β→1 で ∇η に収束し、バイアスはマルコフ連鎖の混合時間 τ* に比例する境界を持つ。
• β による fundamental なバイアス-分散トレードオフがあり、より大きい β はバイアスを減らすが分散を増す。より小さい β は分散を減らすがバイアスを増やす。
• CONJPOMDP はノイズのある勾配推定を頑健に最適化するための勾配ベースの線探索を用い、正確な価値推定に依存しない。
• toy 3 状態 MDP の実験では、GPOMDP/CONJPOMDP の訓練がほぼ最適な性能を達成し、直接的なポリシー最適化の有効性を示した。