[論文レビュー] Analyzing the Variance of Policy Gradient Estimators for the Linear-Quadratic Regulator

James A. Preiss, Sébastien M. R. Arnold+2 more|arXiv (Cornell University)|Oct 2, 2019

Reinforcement Learning in Robotics参考文献 17被引用数 5

ひとこと要約

本稿は、連続的な状態・行動・ガウスノイズを伴う線形二次レギュレータ（LQR）問題におけるREINFORCE方策勾配推定器の分散に関する解析的バウンドを導出する。分散がノイズ共分散や時間区間といったシステムパラメータにどのように依存するかを示し、理論的バウンドを実験的に検証することで、高次元の状態空間においては勾配分散が増加するにもかかわらず、行動ノイズを増加させることで学習が逆に加速するという奇妙な現象を明らかにする。

ABSTRACT

We study the variance of the REINFORCE policy gradient estimator in environments with continuous state and action spaces, linear dynamics, quadratic cost, and Gaussian noise. These simple environments allow us to derive bounds on the estimator variance in terms of the environment and noise parameters. We compare the predictions of our bounds to the empirical variance in simulation experiments.

研究の動機と目的

• 連続的なMDPにおける方策勾配推定器の分散が、元のシステムパラメータにどのように依存するかを理解すること。
• ガウスノイズを伴う有限区間LQR問題におけるREINFORCE推定器の分散に対する明示的な上界および下界を導出すること。
• シミュレートされたLQR環境における理論的分散バウンドと実測分散を照合して検証すること。
• 最適化の多様な局所的構造の影響を受けるにもかかわらず、勾配分散とサンプル複雑度の関係を調査すること。
• 勾配分散が増加するにもかかわらず、行動ノイズが学習速度を向上させる可能性があるかどうかを検討すること。

提案手法

• 有限区間LQR問題における線形ダイナミクス、二次コスト関数、ガウスノイズの構造を用いて、REINFORCE勾配推定器の分散に対する上界を導出する。
• 定常方策におけるスカラー状態の場合の分散に対する下界を、方策勾配のヘッセ行列に基づいて導出する。
• 行列ノルムと固有値半径を用いて、システム行列（A, B）、コスト行列（Q, R）、ノイズ共分散（Σs, Σa）の関数としてバウンドを表現する。
• 1000個のランダムに選択されたLQRインスタンスに対して、軌道をサンプリングし、経験的勾配分散を計算することで、予測された分散を実証的に評価する。
• さまざまな行動ノイズ（Σa）とシステムノイズ（Σs）の下でREINFORCEの学習パフォーマンスをテストし、ノイズのない環境での収束速度を測定する。
• ランダム行列理論の知見を応用して、高次元LQR問題におけるクラスタリング挙動を説明する。

実験結果

リサーチクエスチョン

• RQ1 LQR問題において、REINFORCE方策勾配推定器の分散は、ノイズ共分散や時間区間といったシステムパラメータにどのように依存するか？
• RQ2 解析的バウンドは、確率的LQR環境における経験的分散を正確に予測できるか？
• RQ3 より大きな行動ノイズ（Σa）は、勾配分散を一貫して増加させ、REINFORCEの収束を劣化させるか？
• RQ4 勾配分散とサンプル複雑度の関係は何か？ 両者とも同じシステムパラメータに依存するが。
• RQ5 なぜ行動ノイズを増加させると、分散分析の直感とは反してREINFORCEの収束が速くなることがあるのか？

主な発見

• 理論的上界は、広範なLQR問題インスタンスにおいて、経験的分散と質的に一致する。
• スカラー状態の下界は、システムノイズおよび行動ノイズパラメータに依存する経験的分散トレンドと一致しており、特にその依存関係が明確に現れている。
• 勾配分散は時間区間Hと状態次元nに対して超線形的に増加し、次元が高くなると急激に増加する傾向が観察される。
• 勾配分散が増加するにもかかわらず、より大きな行動ノイズ（Σa）はREINFORCEの収束を速める傾向にあり、探索や正則化の有益な役割を示唆する。
• Σaが非常に小さくΣsが大きい場合、REINFORCEは複数の乱数シードで高分散となり、安定性を失うため、訓練にとって臨界な領域にあることが示された。
• 行動ノイズの学習への影響は、分散の観点だけでは完全に説明できないことが示唆され、方策探索や正則化といった追加のメカニズムが関与している可能性がある。