[論文レビュー] Optimal Matrix Momentum Stochastic Approximation and Applications to Q-learning

Adithya M. Devraj, Ana Bušić+1 more|arXiv (Cornell University)|Sep 17, 2018

Stochastic Gradient Optimization Techniques参考文献 25被引用数 5

ひとこと要約

本稿では、根の発見問題における最適漸近的分散を達成する2つの新しい確率的近似アルゴリズム、PolSA と NeSA を提案する。Polyakのヘヴィボール法とNesterovの加速にインspiredされた行列モーメンタムを組み込むことで、PolSA は計算コストの高い確率的ニュートン・ラプソン（SNR）法と同等の性能を達成する。一方、NeSA は収束性が強く、計算コストが低い簡素化されたバージョンであり、特にQ学習やTD学習の応用で有効である。

ABSTRACT

Acceleration is an increasingly common theme in the stochastic optimization literature. The two most common examples are Nesterov's method, and Polyak's momentum technique. In this paper two new algorithms are introduced for root finding problems: 1) PolSA is a root finding algorithm with specially designed matrix momentum, and 2) NeSA can be regarded as a variant of Nesterov's algorithm, or a simplification of PolSA. The PolSA algorithm is new even in the context of optimization (when cast as a root finding problem). The research surveyed in this paper is motivated by applications to reinforcement learning. It is well known that most variants of TD- and Q-learning may be cast as SA (stochastic approximation) algorithms, and the tools from general SA theory can be used to investigate convergence and bounds on convergence rate. In particular, the asymptotic variance is a common metric of performance for SA algorithms, and is also one among many metrics used in assessing the performance of stochastic optimization algorithms. There are two well known SA techniques that are known to have optimal asymptotic variance: the Ruppert-Polyak averaging technique, and stochastic Newton-Raphson (SNR). The former algorithm can have extremely bad transient performance, and the latter can be computationally expensive. It is demonstrated here that parameter estimates from the new PolSA algorithm couple with those of the ideal (but more complex) SNR algorithm. The new algorithm is thus a third approach to obtain optimal asymptotic covariance. These strong results require assumptions on the model. A linearized model is considered, and the noise is assumed to be a martingale difference sequence. Numerical results are obtained in a non-linear setting that is the motivation for this work: In PolSA implementations of Q-learning it is observed that coupling occurs with SNR in this non-ideal setting.

研究の動機と目的

• 確率的ニュートン・ラプソン（SNR）法の計算コストを回避しつつ、最適漸近的分散を達成する新しい確率的近似アルゴリズムの開発。
• SNR と同等の性能を達成する行列モーメンタムに基づくアルゴリズム（PolSA）の設計。線形および非線形設定の両方で最適収束速度を保証する。
• 計算複雑性を低減しつつ、強力な収束性能を維持するPolSAの簡素化されたバージョン（NeSA）の提案。
• 標準的な確率的近似手法が高分散または収束が遅いために問題となる強化学習問題、特にQ学習およびTD(0)-学習に新しいアルゴリズムを適用。
• 標準的なSA仮定（マルティングル・ディファレンスノイズ、線形化されたダイナミクス）の下で収束速度および漸近的共分散に関する理論的保証の確立。

提案手法

• PolSA は、確率的近似フレームワーク内で時変行列列 {Gn} を用いて行列モーメンタムを導入し、更新式にモーメンタム項 ∆θn とゲイン調整付き勾配項を含む。
• アルゴリズムは、ヘッシアンに類似した構造を近似する行列ゲイン列 {Gn} を使用しており、明示的なヘッシアンの逆行列計算を必要とせずにSNRの挙動を模倣する。
• NeSA は、行列ゲインを固定スカラーのモーメンタムパラメータ ζ に置き換えたPolSAの簡素化されたバージョンであり、Nesterovに類似した加速項を有する再帰的更新を行う。
• アルゴリズムは、関数 f(θ, X) が Aθ − b として線形化された設定で分析され、ノイズはマルティングル・ディファレンス列としてモデル化される。
• 理論的分析により、PolSA が最適漸近的共分散 Σ∗ = A−1Σ∆A−T を達成することが示され、SNR法と同一である。
• 非線形Q学習設定における数値実験では、PolSA と NeSA がSNRに近い性能を示し、顕著に低い計算コストを達成した。

実験結果

リサーチクエスチョン

• RQ1 行列モーメンタムに基づく確率的近似アルゴリズムは、各ステップでのヘッシアンの逆行列計算やヘッシアンの逆行列を必要とせずに、確率的ニュートン・ラプソン（SNR）と同等の最適漸近的分散を達成できるか？
• RQ2 非線形なダイナミクスを有するQ学習のような非線形設定において、提案されたPolSAアルゴリズムはSNRとどのように結合するか？
• RQ3 強化学習における確率的近似に行列モーメンタムを用いる場合、計算複雑性と収束速度のトレードオフはどのように変化するか？
• RQ4 PolSAの簡素化されたバージョン（NeSA）は、SNRと同等の収束特性を維持しながら、より計算効率が良く、実装が容易になるか？
• RQ5 PolSAおよびNeSAにおける行列モーメンタム構造は、標準的な確率的近似や古典的なQ学習アルゴリズムと比較して、TD(0)およびQ学習における一時的および漸近的性能をどの程度改善するか？

主な発見

• PolSA は最適漸近的共分散 Σ∗ = A−1Σ∆A−T を達成し、漸近的分散の理論的下界に一致する。これは、確率的ニュートン・ラプソン（SNR）法と同一である。
• 非線形Q学習設定において、PolSA はSNRと強い結合を示し、問題の非線形性にもかかわらず、ほぼ最適な収束速度を達成している。
• PolSA の簡素化されたバージョンであるNeSA は、Q学習において優れた性能を示し、標準的および最近の変種と比較して収束速度が速く、分散低減効果も顕著である。
• PolSA およびNeSA における行列モーメンタムは、標準的な確率的近似および古典的なQ学習アルゴリズムと比較して、収束が速く、漸近的分散も低くなる。
• 理論的分析により、PolSA およびNeSA が標準的な仮定（マルティングル・ディファレンスノイズ、線形化されたダイナミクス）の下で収束することが確認された。
• 数値結果から、PolSA およびNeSA は、線形化仮定から逸脱する場合でも、実用的な強化学習タスクにおいて優れた性能を維持していることが示された。