[論文レビュー] Average-Reward Off-Policy Policy Evaluation with Function Approximation

Shangtong Zhang, Yi Wan+2 more|arXiv (Cornell University)|Jan 8, 2021

Reinforcement Learning in Robotics参考文献 57被引用数 6

ひとこと要約

本稿では、関数近似を用いた平均報酬方策評価のための、2つの新しい非政策的アルゴリズム、Diff-GQ1 と Diff-GQ2 を提案する。勾配時系列差分法を用いて、死の三重奏を解消する。これらのアルゴリズムは、密度比推定を必要とせず、微分価値関数および報酬率推定の両方において、初めて証明可能に収束する線形関数近似手法であり、実験的評価において密度比に基づく手法を上回る性能を示した。

ABSTRACT

We consider off-policy policy evaluation with function approximation (FA) in average-reward MDPs, where the goal is to estimate both the reward rate and the differential value function. For this problem, bootstrapping is necessary and, along with off-policy learning and FA, results in the deadly triad (Sutton & Barto, 2018). To address the deadly triad, we propose two novel algorithms, reproducing the celebrated success of Gradient TD algorithms in the average-reward setting. In terms of estimating the differential value function, the algorithms are the first convergent off-policy linear function approximation algorithms. In terms of estimating the reward rate, the algorithms are the first convergent off-policy linear function approximation algorithms that do not require estimating the density ratio. We demonstrate empirically the advantage of the proposed algorithms, as well as their nonlinear variants, over a competitive density-ratio-based approach, in a simple domain as well as challenging robot simulation tasks.

研究の動機と目的

• 関数近似を伴う平均報酬非政策的学習における「死の三重奏」—すなわち、ブートストラップ、非政策的データ、関数近似が同時に存在することで発生する発散問題を解決すること。
• 平均報酬非政策的 MDP における微分価値関数推定のための、最初の証明可能に収束する線形関数近似アルゴリズムを開発すること。
• 密度比推定を必要としない、報酬率推定のための最初の収束保証付き非政策的線形関数近似手法を設計すること。
• 提案手法を、密度比に基づく手法（GradientDICE）と比較して、表形式および非線形関数近似設定の両方で実験的に評価すること。

提案手法

• プライマル・デュアル最適化アプローチを用いて、勾配TDフレームワークを平均報酬設定に拡張した Diff-GQ1 と Diff-GQ2 を提案する。
• 微分価値関数と報酬率推定の両方を1つの最適化フレームワークに統合した、修正されたベルマン誤差目的関数を用いる。
• 2つの時間スケールに基づく確率的勾配更新を採用：1つはベルマン誤差に関連する双対変数の更新、もう1つはプライマル変数（価値関数および報酬率推定）の更新。
• 特に高次元関数近似設定において収束性と安定性を確保するため、プライマル変数にリッジ正則化を導入する。
• 標準的な仮定（再帰性、非周期性、特徴行列の性質）の下で収束保証を導出。これにより、最適解への確実収束が保証される。
• 密度比推定を必要とせず、報酬率と微分価値関数の両方を同時に推定可能な、新しい MSPBE（平均二乗投影ベルマン誤差）定式化を導入する。

実験結果

リサーチクエスチョン

• RQ1 平均報酬 MDP における非政策的線形関数近似を、密度比推定に依存せずに証明可能に収束させることが可能か？
• RQ2 割引報酬設定で用いられる勾配ベースの手法を、平均報酬設定に効果的に適応することで、「死の三重奏」を克服できるか？
• RQ3 複雑な環境において、価値ベースの非政策的アルゴリズムと密度比に基づく手法の報酬率推定性能は、どのように比較されるか？
• RQ4 ニューラルネットワークを含む非線形関数近似設定でも、提案手法は安定性と収束性を維持できるか？

主な発見

• 提案された Diff-GQ1 と Diff-GQ2 は、平均報酬 MDP における微分価値関数推定のための、非政策的線形関数近似手法として、初めて証明可能に収束するものである。
• 密度比の推定を必要とせず、報酬率推定においても収束性を達成しており、これにより先行手法と比較して顕著な利点を有する。
• 単純なマルコフ連鎖の環境において、提案手法は密度比に基づく GradientDICE 手法よりも推定精度と安定性に優れた。
• 挑戦的な MuJoCo ロボットシミュレーションタスクでは、複数の環境および関数近似アーキテクチャ（ニューラルネットワークを含む）において、提案手法が一貫して GradientDICE を上回った。
• 実験結果から、ヘッセ行列 $F$ が正定値半定値である確率が、さまざまなノイズレベル下でも高い水準を維持している（例：$| ablaackslashmathcal{S}|| ablaackslashmathcal{A}|=100$ 時に 0.93）ことが示され、ロバストネスが裏付けられた。
• ニューラルネットワークを用いた非線形設定においても、一貫した収束が観察され、高次元関数近似下でも安定した学習行動を示した。