[論文レビュー] Regularized Off-Policy TD-Learning

Bo 博 Liu 刘, Sridhar Mahadevan+1 more|arXiv (Cornell University)|Jun 6, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用数 19

ひとこと要約

本稿では、低コストな計算量でスパースな価値関数表現を達成する、新しい$l_1$正則化付きオフポリシー時系列差分学習アルゴリズムRO-TDを提案する。オフポリシーTD問題を凸-凹サドルポイント確率的最適化問題に定式化することにより、RO-TDは一次ソルバーと効果的な特徴選択を可能にするとともに、オフポリシー収束を維持する。

ABSTRACT

We present a novel $l_1$ regularized off-policy convergent TD-learning method (termed RO-TD), which is able to learn sparse representations of value functions with low computational complexity. The algorithmic framework underlying RO-TD integrates two key ideas: off-policy convergent gradient TD methods, such as TDC, and a convex-concave saddle-point formulation of non-smooth convex optimization, which enables first-order solvers and feature selection using online convex regularization. A detailed theoretical and experimental analysis of RO-TD is presented. A variety of experiments are presented to illustrate the off-policy convergence, sparse feature selection capability and low computational cost of the RO-TD algorithm.

研究の動機と目的

• 計算コストを低く抑えつつ、オフポリシー時系列差分学習におけるスパースな価値関数表現の学習という課題に対処すること。
• 二階微分法に依存せずに$l_1$正則化による特徴選択を統合した収束性を有するオフポリシー強化学習アルゴリズムの開発。
• 一次最適化手法を用いて、オフポリシー収束と価値関数近似におけるスパarsityのギャップを埋めること。
• TDCスタイルのオフポリシー学習とオンライン凸正則化を組み合わせることで、高次元特徴空間におけるスケーラブルな強化学習を可能にすること。
• 凸最適化と確率的一次最適化手法を用いた、正則化され、収束性を保証するオフポリシー強化学習の統合フレームワークを提供すること。

提案手法

• TDCアルゴリズムの線形方程式定式化を用いて、オフポリシーTD学習問題を凸-凹サドルポイント確率的近似問題に再定式化する。
• 得られた非滑らか凸最適化問題を解くためにプロキシマル勾配法を適用し、$l_1$正則化と特徴選択を可能にする。
• オンライン凸正則化を用いて、スパースな特徴表現を持つ価値関数推定値を段階的に更新する。
• 二時刻スケール更新則を双対定式化により$l_1$正則化と統合し、オフポリシー収束を保証する。
• サドルポイント定式化を活用して、特徴数とサンプル数に線形にスケーリングする一次ソルバーを可能にする。
• 正則化パラメータ$\rho_1$と$\rho_2$を調整し、スパarsityと収束性のバランスを図る。$\rho_2$はTDC補正項の影響を制御する。

実験結果

リサーチクエスチョン

• RQ1 $l_1$正則化をオフポリシーTD学習に効果的に統合できるか、収束性が保たれるか。
• RQ2 提案されたRO-TDアルゴリズムは、サンプル効率や計算スケーラビリティを損なわずに特徴選択を達成できるか。
• RQ3 最適化問題のサドルポイント定式化が、オフポリシー設定における一次的・低コストな学習をどのように可能にするか。
• RQ4 収束性とスパarsityの観点から、TDC、LARS-TD、$l_2$ LSTDといった既存手法と比較して、RO-TDの実験的性能はいかがなものか。
• RQ5 ノイズが多いまたは不適切な特徴を含む高次元でアンダーアクチュエーテッド制御タスクにおいて、RO-TDは既存手法を上回る性能を発揮できるか。

主な発見

• グリッドワールドタスクにおいて、RO-TDは20回の実験すべてで100%の成功を達成したが、TDCとTDは完全に失敗した。
• トリプルリンク反転振り子タスクでは、RO-GQ($\lambda$)は平均6.9 ± 4.82エピソードで成功したのに対し、GQ($\lambda$)は11.3 ± 9.58エピソードで成功し、LARS-TDは劣悪なサンプル品質のため失敗した。
• グリッドワールドタスクでは、RO-TDの平均収束ステップ数は147.40 ± 13.31であり、LARS-TD（142.25 ± 9.74）にわずかに上回ったが、オフポリシー収束性とスパarsityが保証された。
• アルゴリズムの計算複雑度は$O(Nd)$であり、特に$p$が$d$に対して部分線形である場合、LARS-TDの$O(Ndp^3)$に比べて顕著に低い。
• $\rho_2$のチューニングにより、TDとTDCの挙動の間の補間が可能であり、大きな$\rho_2$ではTDC補正項の影響が小さくなり、更新が標準TDに近づく。
• トリプルリンクパンドulumにおける2つの実験において、RO-GQ($\lambda$)はGQ($\lambda$)を上回り、高次元で非線形な領域における頑健性とスケーラビリティを示した。