[論文レビュー] Simple and optimal methods for stochastic variational inequalities, I: operator extrapolation

Georgios Kotsalis, Guanghui Lan+1 more|arXiv (Cornell University)|Nov 5, 2020

Optimization and Variational Analysis参考文献 25被引用数 16

ひとこと要約

本稿では、決定的および確率的変分不等式（VIs）を解くためのオペレータ補外法（OE）を導入し、反復ごとに単一のプロジェクション更新を用いて最適収束速度を達成する。さらに、確率的スムーズで強く単調なVI問題に対して、最初の最適複雑度を確立する確率的オペレータ補外法（SOE）を提案。ブロック構造問題への拡張としてSBOEを導入。

ABSTRACT

In this paper we first present a novel operator extrapolation (OE) method for solving deterministic variational inequality (VI) problems. Similar to the gradient (operator) projection method, OE updates one single search sequence by solving a single projection subproblem in each iteration. We show that OE can achieve the optimal rate of convergence for solving a variety of VI problems in a much simpler way than existing approaches. We then introduce the stochastic operator extrapolation (SOE) method and establish its optimal convergence behavior for solving different stochastic VI problems. In particular, SOE achieves the optimal complexity for solving a fundamental problem, i.e., stochastic smooth and strongly monotone VI, for the first time in the literature. We also present a stochastic block operator extrapolations (SBOE) method to further reduce the iteration cost for the OE method applied to large-scale deterministic VIs with a certain block structure. Numerical experiments have been conducted to demonstrate the potential advantages of the proposed algorithms. In fact, all these algorithms are applied to solve generalized monotone variational inequality (GMVI) problems whose operator is not necessarily monotone. We will also discuss optimal OE-based policy evaluation methods for reinforcement learning in a companion paper.

研究の動機と目的

• ノイズありまたは確率的オペレータ情報が与えられる状況において、最適かつ単純な手法が不足している点に対処する。
• 反復ごとに単一のプロジェクションを用いることで、決定的一般単調VIに対して最適収束を達成する、新規のオペレータ補外（OE）手法を開発する。
• OEを確率的設定に拡張し、スムーズで強く単調な確率的VI問題に対して最適反復複雑度を達成する確率的オペレータ補外（SOE）を提案する。
• ブロック構造を持つ大規模な決定的VI問題の計算コストを低減するため、OEのブロック構造拡張として確率的ブロックオペレータ補外（SBOE）を提案する。
• 強化学習や信号推定における応用を含め、一般単調VI問題に対する数値実験を通じて、これらの手法の実用的利点を示す。

提案手法

• 反復ごとに単一のプロジェクション部分問題を用いる、単一の系列を更新するオペレータ補外（OE）手法を提案。勾配プロジェクションにインspiredされつつ、収束性が向上している。
• 不偏推定器を確率的オракルから得るOEの確率的バージョンとして、確率的オペレータ補外（SOE）を導入。一般単調性のもとで最適収束を維持する。
• 各反復でブロックの一部のみを処理するSBOEを設計。OEのブロック構造拡張として、計算コストを低減しながら収束保証を維持する。
• 一般単調性条件（3）およびリプシッツ連続性（2）を活用して収束速度を導出し、スムーズ性および強く単調性のもとで最適複雑度を保証する。
• 現在および過去の勾配情報の組み合わせを用いて次回の反復を予測する、新規の補外ステップを更新式に組み込む。
• ギャップ関数解析を通じて収束速度を確立。弱ギャップを $\mathrm{gap}(\bar{x}) = \max_{x\in X} \langle F(x), \bar{x}-x \rangle $ と定義し、スムーズ単調VIでは $\mathcal{O}(1/k)$、強く単調な場合にも $\mathcal{O}(1/k)$ の収束を示す。

実験結果

リサーチクエスチョン

• RQ1 単一のプロジェクションを用いる単純な手法が、決定的一般単調変分不等式に対して最適収束を達成できるか？
• RQ2 スムーズで強く単調な確率的変分不等式を解くための最適反復複雑度は何か？ そして、実用的なアルゴリズムで達成可能か？
• RQ3 オペレータ補外フレームワークを大規模なブロック構造問題に拡張することで、計算コストを低減できるか？
• RQ4 提案されたSOE手法は、マルコフ的ノイズを伴う強化学習におけるポリシー評価問題など、困難な問題に適用可能か？
• RQ5 一般単調性のもとで、OEおよびSOEの収束特性はどのように振る舞うか？ これは単調性および強く単調なオペレータを厳密に含む。

主な発見

• OE手法は、スムーズで単調な変分不等式を解く際に、最適な $\mathcal{O}(1/k)$ 収束速度を達成し、既知の最良の複雑度境界と一致する。
• SOEは、スムーズで強く単調な確率的VI問題に対して、最初に知られた最適な $\mathcal{O}(1/\epsilon)$ 反復複雑度を達成する。ここで $\epsilon$ は目標精度である。
• SBOE手法は、ブロック構造を持つ大規模な決定的VI問題における反復ごとの計算コストを低減し、同じ収束速度を維持しながら計算効率を向上させる。
• 数値実験により、SOEが一般単調VI問題において、既存の確率的イーグレージョンおよびミラー・プロックス手法よりも収束速度とロバスト性に優れていることが確認された。
• 提案手法は、GANにおけるミニマックス問題、一般線形モデルによる信号推定、強化学習におけるポリシー評価など、広範な問題クラスに適用可能である。
• 理論的分析により、これらの手法が一般単調性条件（3）のもとで収束することが確認され、古典的仮定を越えて適用範囲を広げた。