[論文レビュー] Proximal Algorithms and Temporal Differences for Large Linear Systems: Extrapolation, Approximation, and Simulation

Dimitri P. Bertsekas|arXiv (Cornell University)|Oct 18, 2016

Advanced Optimization Algorithms Research参考文献 54被引用数 3

ひとこと要約

この論文は、大規模な線形方程式系を解くためのプロキシマルアルゴリズムと強化学習および動的計画法で用いられる時系列差分（TD）法の間の深い理論的・アルゴリズム的関係を確立する。TD(λ)がプロキシマル反復の確率的変種として解釈可能であることを示すことにより、TDダイナミクスに向かう外挿法を用いたプロキシマル法の直接的な加速が可能となり、追加コストなしに保証された収束速度の向上が得られる。

ABSTRACT

We consider large linear and nonlinear fixed point problems, and solution with proximal algorithms. We show that there is a close connection between two seemingly different types of methods from distinct fields: 1) Proximal iterations for linear systems of equations, which are prominent in numerical analysis and convex optimization, and 2) Temporal difference (TD) type methods, such as TD(lambda), LSTD(lambda), and LSPE(lambda), which are central in simulation-based approximate dynamic programming/reinforcement learning (DP/RL), and its recent prominent successes in large-scale game contexts, among others. One benefit of this connection is a new and simple way to accelerate the standard proximal algorithm by extrapolation towards the TD iteration, which generically has a faster convergence rate. Another benefit is the potential integration into the proximal algorithmic context of several new ideas that have emerged in the DP/RL context. We discuss some of the possibilities, and in particular, algorithms that project each proximal iterate onto the subspace spanned by a small number of basis functions, using low-dimensional calculations and simulation. A third benefit is that insights and analysis from proximal algorithms can be brought to bear on the enhancement of TD methods. The linear fixed point methodology can be extended to nonlinear fixed point problems involving a contraction, thus providing guaranteed and potentially substantial acceleration of the proximal and forward backward splitting algorithms at no extra cost. Moreover, the connection of proximal and TD methods can be extended to nonlinear (nondifferentiable) fixed point problems through new proximal-like algorithms that involve successive linearization, similar to policy iteration in DP.

研究の動機と目的

• 最適化におけるプロキシマルアルゴリズムと強化学習における時系列差分（TD）法の間の根本的関係を明らかにすること。
• TD(λ)ダイナミクスに向かう外挿法を用いてプロキシマルアルゴリズムを加速し、より速い収束を達成すること。
• 動的計画法におけるポリシー反復にインspiredされた逐次線形化を用いて、非線形固定点問題へのプロキシマルフレームワークの拡張を図ること。
• 強化学習におけるシミュレーションベースの近似技術を、大規模問題におけるプロキシマルアルゴリズムに統合すること。
• 正確および近似設定の両方において収束性および加速性を保証する理論的根拠を提供すること、特に射影および部分空間正則化を施した変種を含む。

提案手法

• パrameter関係 $ \lambda = \frac{c}{c+1} $ を用いて、プロキシマル反復 $ x_{k+1} = P^{(c)}x_k $ とTD(λ)更新の間の等価性を形式化し、両手法を数学的に結びつける。
• TD(λ)反復に向かう外挿法を新規に導入し、標準的なプロキシマルステップ以上の追加コストなしに収束速度の保証された向上を実現する。
• 各プロキシマル反復を基底関数が張る低次元部分空間上に射影することで次元削減を実現するガラーキン射影を適用し、スケーラブルな計算を可能にする。
• 逐次線形化に基づく、非線形固定点問題に対するプロキシマルに類似したアルゴリズムを提案し、ポリシー反復に類似した構造を持たせ、TDベースの実装を可能にする。
• 前向き・後ろ向き分割およびプロキシマル勾配法へのフレームワークの拡張により、合成最適化問題への応用範囲を広げる。
• 近似動的計画法の技術を活用して、射影および部分空間制限付きプロキシマル更新のシミュレーションベースの解法を実現する。

実験結果

リサーチクエスチョン

• RQ1 時系列差分学習の知見を用いて、大規模な線形方程式系に対するプロキシマルアルゴリズムをどのように加速できるか？
• RQ2 固定点問題の文脈において、プロキシマル反復とTD(λ)更新の間の明確な数学的関係は何か？
• RQ3 TDダイナミクスに向かう外挿法を用いることで、計算コストを増加させることなくプロキシマル法の収束速度を向上させられるか？
• RQ4 収縮を含む非線形固定点問題に対して、プロキシマルフレームワークをどのように拡張できるか、そして逐次線形化が果たす役割は何か？
• RQ5 強化学習におけるシミュレーションベースの近似技術を、大規模問題におけるプロキシマルアルゴリズムにどの程度統合できるか？

主な発見

• プロキシマルアルゴリズム $ x_{k+1} = P^{(c)}x_k $ は、$ \lambda = \frac{c}{c+1} $ の条件下でTD(λ)更新と数学的に等価であり、最適化手法と強化学習手法の間の直接的なリンクを確立する。
• TD(λ)反復に向かう外挿法は、標準的なプロキシマルステップ以上の追加コストなしに、プロキシマルアルゴリズムの収束速度を保証されたものに向上させる。
• 射影付きプロキシマルアルゴリズム $ x_{k+1} = \Pi P^{(c)}x_k $（$ \Pi $ は低次元部分空間への射影）は、シミュレーションベースの手法によって実装可能であり、大規模システムに対するスケーラブルな解法を可能にする。
• 収縮を含む非線形固定点問題に対しては、逐次線形化を用いたプロキシマルフレームワークの拡張が可能であり、収束保証付きの新アルゴリズムが得られる。
• プロキシマル法とTD法の関係は、前向き・後ろ向き分割およびプロキシマル勾配法へも一般化され、応用範囲が広がる。
• $ I - A $ が可逆であっても $ \sigma(A) = 1 $ である場合でも、プロキシマル方程式 $ x = P^{(c)}x $ は有効であり、シミュレーションによって解けるため、手法の頑健性が保たれる。