[論文レビュー] Variance Reduction for Matrix Games

Yair Carmon, Yujia Jin+2 more|arXiv (Cornell University)|Jul 3, 2019

Stochastic Gradient Optimization Techniques参考文献 43被引用数 12

ひとこと要約

本稿では、Nemirovskiのプロキシメソッドと、新たな「差からのサンプリング」勾配推定器を組み合わせることで、行列ゲームにおける分散低減を達成する確率的プライマル・デュアルアルゴリズムを提案する。このアルゴリズムは、形式 $ min_x \max_y y^\top A x$ のミニマックス問題を $ epsilon$-精度で $ ext{nnz}(A) + \sqrt{\text{nnz}(A)n}/\epsilon$ 時間で解き、スパースかつ高精度な状況下で、正確な勾配法や確率的勾配法よりも優れた性能を発揮する。

ABSTRACT

We present a randomized primal-dual algorithm that solves the problem $\min_{x} \max_{y} y^ op A x$ to additive error $ε$ in time $\mathrm{nnz}(A) + \sqrt{\mathrm{nnz}(A)n}/ε$, for matrix $A$ with larger dimension $n$ and $\mathrm{nnz}(A)$ nonzero entries. This improves the best known exact gradient methods by a factor of $\sqrt{\mathrm{nnz}(A)/n}$ and is faster than fully stochastic gradient methods in the accurate and/or sparse regime $ε\le \sqrt{n/\mathrm{nnz}(A)}$. Our results hold for $x,y$ in the simplex (matrix games, linear programming) and for $x$ in an $\ell_2$ ball and $y$ in the simplex (perceptron / SVM, minimum enclosing ball). Our algorithm combines Nemirovski's "conceptual prox-method" and a novel reduced-variance gradient estimator based on "sampling from the difference" between the current iterate and a reference point.

研究の動機と目的

• 有限和最小化と比較してまだ未発達なミニマックス最適化における分散低減技術のギャップを埋めること。
• 特に $\ell_1$-$\ell_1$ および $\ell_2$-$\ell_1$ ゲームに関連する双線形ミニマックスゲームのためのより高速なアルゴリズムを設計すること。
• 非確率的および完全に確率的な勾配法よりも、スパースかつ高精度な状況（$\epsilon \leq \sqrt{n/\text{nnz}(A)}$）において実行時間の改善を達成すること。
• プロキシメソッドフレームワーク内でより高速な収束を可能にする分散バウンドを満たす「センター付き」勾配推定器の新規クラスを開発すること。

提案手法

• アルゴリズムは、$\alpha > 0$ でパrameter化された一連の部分問題を解くことで、$\epsilon$-精度に到達するNemirovskiの概念的プロキシメソッドを用いる。
• 「差からのサンプリング」という新規技術により、現在の反復点と基準反復点の差からサンプリングすることで、低分散の勾配推定器を構築する。
• $\ell_1$-$\ell_1$ ゲームでは、分散低減のため、$|y_i - y_{0,i}| / \|y - y_0\|_1$ 比例の確率でサンプリング確率を設定する。
• $\ell_2$-$\ell_1$ ゲームでは、ブロック座標 $j$ を、$([x]_j - [x_0]_j)^2 / \|x - x_0\|_2^2$ 比例の確率でサンプリングする。
• 分散が有界である条件 $\mathbb{E}\|\tilde{g} - \nabla f(x_0,y_0)\|_*^2 \leq L^2 \|x - x_0\|^2 + L^2 \|y - y_0\|^2$ を満たす、洗練された「センター付き」勾配推定器を導入し、プロキシメソッドフレームワーク内での高速収束を可能にする。
• アルゴリズムは、$\text{nnz}(A) + \sqrt{\text{nnz}(A)n}/\epsilon$ の実行時間で実現され、スパースかつ高精度な状況下で、正確な勾配法よりも $\sqrt{\text{nnz}(A)/n}$ 倍速く、確率的勾配法よりも優れた性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 有限和最小化から得られる分散低減技術は、ミニマックス問題へと適応可能か？ その場合、同様の実行時間の改善が達成可能か？
• RQ2 双線形ミニマックスゲームにおいて、不偏性を保ちつつ低分散更新を可能にする勾配推定器の構造は何か？
• RQ3 提案された「差からのサンプリング」戦略は、固定分布に基づく分散低減と比較して、収束速度にどのように影響するか？
• RQ4 分散低減手法を用いた行列ゲームの解法において、サンプリングの複雑さと精度の最適なトレードオフは何か？
• RQ5 プロキシメソッドフレームワークは、非一様または適応的サンプリング戦略を用いるミニマックス問題へと拡張可能か？

主な発見

• 提案されたアルゴリズムは、$\min_x \max_y y^\top A x$ を $\text{nnz}(A) + \sqrt{\text{nnz}(A)n}/\epsilon$ 時間で $\epsilon$-精度に解き、正確な勾配法よりも $\sqrt{\text{nnz}(A)/n}$ 倍速い。
• スパースまたは高精度な問題（$\epsilon \leq \sqrt{n/\text{nnz}(A)}$）の状況下で、完全に確率的な勾配法を上回る性能を発揮する。
• 「差からのサンプリング」勾配推定器は、分散バウンド $\mathbb{E}\|\tilde{g} - \nabla f(x_0,y_0)\|_*^2 \leq L^2 \|x - x_0\|^2 + L^2 \|y - y_0\|^2$ を満たし、プロキシメソッドフレームワーク内での高速収束を可能にする。
• $\ell_2$-$\ell_1$ ゲームでは、さらに分散を低減するためのしきい値処理機構を備えた洗練された勾配推定器を用い、収束性が向上する。
• この手法は、$\ell_1$-$\ell_1$（行列ゲーム、線形計画法）および $\ell_2$-$\ell_1$（SVM、最小包含球）の両設定に適用可能であり、保証された実行時間を持つ。
• 動的サンプリング戦略（46）は、固定分布（45）よりもタイトな分散バウンド $\mathbb{E}\|\tilde{g} - g(w_0)\|_2^2 \leq \|A\|_F^2 \|w - w_0\|_2^2$ を達成し、一部の状況下で優れている。