[論文レビュー] Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods

Ching-An Cheng, Xinyan Yan+1 more|arXiv (Cornell University)|Aug 8, 2019

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本稿では、軌道全体の状態と行動の時間的相関を活用することで、方策勾配法における分散低減のための新しい軌道単位の制御変数（TrajCV）を提案する。Q関数近似器を再帰的に用いて制御変数を構築することで、妥当な仮定の下で最適な分散低減を達成し、特に長時間スケールのタスクにおいて顕著なサンプル効率の向上を実現する。

ABSTRACT

Policy gradient methods have demonstrated success in reinforcement learning tasks that have high-dimensional continuous state and action spaces. However, policy gradient methods are also notoriously sample inefficient. This can be attributed, at least in part, to the high variance in estimating the gradient of the task objective with Monte Carlo methods. Previous research has endeavored to contend with this problem by studying control variates (CVs) that can reduce the variance of estimates without introducing bias, including the early use of baselines, state dependent CVs, and the more recent state-action dependent CVs. In this work, we analyze the properties and drawbacks of previous CV techniques and, surprisingly, we find that these works have overlooked an important fact that Monte Carlo gradient estimates are generated by trajectories of states and actions. We show that ignoring the correlation across the trajectories can result in suboptimal variance reduction, and we propose a simple fix: a class of "trajectory-wise" CVs, that can further drive down the variance. We show that constructing trajectory-wise CVs can be done recursively and requires only learning state-action value functions like the previous CVs for policy gradient. We further prove that the proposed trajectory-wise CVs are optimal for variance reduction under reasonable assumptions.

研究の動機と目的

• 長時間スケールおよび高次元連続制御タスクにおいて、特に顕著なモンテカルロ勾配推定の分散の高い問題に取り組む。
• 従来の制御変数手法（状態のみ依存、状態・行動依存）が、軌道ステップ間の時間的相関を無視しているため、最適でない分散低減に終わっていることを特定する。
• 軌道レベルの相関を明示的に取り入れた新しい制御変数のクラスであるTrajCVを提案し、バイアスを導入せずに勾配の分散をさらに低減する。
• 理論的および実験的に、TrajCVが妥当な仮定の下で最適な分散低減を達成できることを示し、標準的なQ関数近似器を用いて再帰的に実装できることを示す。
• 長時間スケールのタスクにおけるシミュレーションを通じて、TrajCVの有効性を検証し、既存のCV手法と比較して優れた収束速度を示す。

提案手法

• 既存の状態依存および状態・行動依存CVを拡張し、長期的軌道相関を捉える項を追加することで、軌道単位の制御変数であるTrajCVを導入する。
• Q関数近似器 $\widehat{q}^{\text{(dyn)}}(s,a) = c(s,a) + \widehat{v}(\widehat{d}(s,a))$ を用いて、TrajCVを再帰的に構築する。ここで $\widehat{d}$ は学習済みのダイナミクスモデル、$\widehat{v}$ は価値関数近似器である。
• 計算効率を高めるために、$\mathbb{E}_{A_t|S_t}[\widehat{q}(S_t, A_t)]$ の条件付き期待値を用いて制御変数を定義し、解析的近似（例：線形近似やガウス・ニュートン近似）を適用する。
• TrajCVがバイアスのない補正項として定義されているため、構成上バイアスが生じないことを保証する。
• 妥当な仮定（例：決定的ダイナミクス）のもとで、TrajCVがすべての可能な軌道単位の制御変数の中で最適な分散低減を達成できることを証明する。
• 既存のCV手法と同等のデータやモデル学習を追加せずに、オンポリシー価値関数近似器および共有関数近似器を用いてTrajCVを実装する。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来の制御変数手法は、長時間スケールタスクにおいて分散を完全に低減できないのか？
• RQ2 軌道ステップ間の時間的相関は、方策勾配法における勾配分散にどの程度寄与しているのか？
• RQ3 軌道レベルの依存関係を明示的にモデル化する制御変数は、状態のみ依存または状態・行動依存CVよりも優れた分散低減を達成できるか？
• RQ4 バイアスを導入せずに勾配分散を最小化する理論的に最適な軌道単位の制御変数の構築法は存在するか？
• RQ5 長時間スケール強化学習タスクにおいて、TrajCVは従来のCV手法と比較して収束速度およびサンプル効率で優れているか？

主な発見

• TrajCVは、従来の手法が無視していた長期的軌道相関を考慮することで、勾配分散を顕著に低減する。
• 妥当な仮定（特に遷移ダイナミクスが決定的に近い場合）のもとで、提案されたTrajCVは分散低減において最適であることが理論的に証明されている。
• 実験結果から、TrajCVは学習の収束を加速することが示され、特に軌道レベルの分散が支配的になる長時間スケールタスクで顕著である。
• 解析的近似（例：ガウス・ニュートン近似）を用いて $\mathbb{E}_{A_t|S_t}[\widehat{q}(S_t, A_t)]$ を計算することで、計算効率を向上させつつも低分散を維持できる。
• タスクの時間スケールが長くなるほど、TrajCVと従来のCV（状態のみ、状態・行動依存）との性能差が拡大し、軌道単位のモデリングの重要性が裏付けられる。
• 新しいデータやモデルを必要とせず、既存のQ関数近似器を用いてTrajCVを実装可能であり、現在の方策勾配フレームワークへのシームレスな統合が可能である。