[論文レビュー] A Stochastic Proximal Point Algorithm for Saddle-Point Problems

Luo Luo, Cheng Chen+3 more|arXiv (Cornell University)|Sep 13, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用数 9

ひとこと要約

本稿では、$n$ 個の強い凸-凹成分をもつ凸-凹サドルポイント問題に対して、確率的プロキシマル・ポイント法、Point SAGA を提案する。プロキシマルオракルと分散低減を活用することで、Catalystフレームワークから対数的要因を排除し、条件数依存性を改善し、線形収束を達成する。ポリシー評価やその他の応用分野において、優れた効率性を示す。

ABSTRACT

We consider saddle point problems which objective functions are the average of $n$ strongly convex-concave individual components. Recently, researchers exploit variance reduction methods to solve such problems and achieve linear-convergence guarantees. However, these methods have a slow convergence when the condition number of the problem is very large. In this paper, we propose a stochastic proximal point algorithm, which accelerates the variance reduction method SAGA for saddle point problems. Compared with the catalyst framework, our algorithm reduces a logarithmic term of condition number for the iteration complexity. We adopt our algorithm to policy evaluation and the empirical results show that our method is much more efficient than state-of-the-art methods.

研究の動機と目的

• 条件数が非常に大きい場合に、既存の分散低減手法がサドルポイント問題で収束が遅いという問題に取り組む。
• Catalystフレームワークとは異なり、追加の加速パラメータのチューニングを回避する確率的プロキシマル・ポイント法を開発すること。
• プロキシマルオラクルと分散低減を組み合わせることで、強い凸-凹サドルポイント問題におけるより速い収束を達成すること。
• 強化学習におけるポリシー評価を含む、実世界の問題において、実用的優位性を示すこと。

提案手法

• アルゴリズムは、元来凸最適化を対象としていたPoint SAGAを、各成分関数 $f_i$ のプロキシマルオラクルを用いてサドルポイント問題に拡張する。
• 各反復で、パrameter $\gamma$ を用いてランダムに選択された成分 $f_i$ のプロキシマル作用素を計算する。多くの応用において、これは効率的に解ける。
• 過去の勾配の累積平均を維持し、分散低減更新則を用いることで、線形収束を保証する。
• プロキシマル作用素は、拡張目的関数の勾配をゼロに設定することで生じる一次方程式系を解くことで導出される。
• 解法にはWoodburyの恒等式を用い、$\mathcal{O}(d)$ 時間で計算可能であり、各反復の計算量が効率的である。
• 収束解析により、Catalystベースの手法と比較して条件数に改善された依存性を示す $\tilde{\mathcal{O}}(1/K)$ の収束レートが得られる。

実験結果

リサーチクエスチョン

• RQ1 高条件数をもつサドルポイント問題に対して、既存の分散低減手法よりも高速な収束を達成できるか。
• RQ2 条件数依存性における対数的要因の排除が、実用的性能向上に寄与するか。
• RQ3 プロキシマルオラクルフレームワークを凸最適化から凸-凹サドルポイント問題へ効果的に拡張できるか。
• RQ4 反復回数とチューニング要件の観点から、Point SAGA はCatalystベースの加速法と比べてどのように異なるか。
• RQ5 強化学習におけるポリシー評価に、このアルゴリズムを効率的に適用でき、実証的に利点が得られるか。

主な発見

• 提案されたPoint SAGAアルゴリズムは、Catalystフレームワークと比較して、条件数に伴う対数的要因を除去した線形収束レートを達成する。
• Catalystベースの手法よりも反復回数が少なく、追加の加速パrameterのチューニングを回避するため、より実用的である。
• ポリシー評価における実験的結果から、Point SAGA は最先端の手法を上回る収束速度と安定性を示す。
• EM-MSPBE定式化におけるプロキシマル作用素は、Woodburyの恒等式を用いて $\mathcal{O}(d)$ 時間で計算可能であり、各反復の計算量が効率的である。
• 理論的解析により、平均化反復の期待二乗誤差が $\mathcal{O}(1/K)$ で減少することが確認され、その境界は $\frac{2\sqrt{n}BR}{\mu} + R^2$ に依存する。
• 最適なステップサイズパrameter $\gamma$ は $\gamma = \frac{R}{B\sqrt{n}}$ として導出され、収束境界を最小化する。