[論文レビュー] Primal-dual subgradient methods for minimizing uniformly convex functions

Anatoli B. Juditsky, Yuri Nesterov|arXiv (Cornell University)|Jan 8, 2014

Stochastic Gradient Optimization Techniques参考文献 14被引用数 59

ひとこと要約

本稿では、非ユークリッド的設定における一様凸関数の最小化のための原双対勾配法を開発し、反復回数の対数要因を除いて既知の最良の境界に一致するミニマックス最適収束速度を達成する。この手法は、未知の強い凸性または一様凸性パラメータに自動的に適合し、目的関数の曲率特性を事前に知らなくても最適な性能を保証する。

ABSTRACT

We discuss non-Euclidean deterministic and stochastic algorithms for optimization problems with strongly and uniformly convex objectives. We provide accuracy bounds for the performance of these algorithms and design methods which are adaptive with respect to the parameters of strong or uniform convexity of the objective: in the case when the total number of iterations $N$ is fixed, their accuracy coincides, up to a logarithmic in $N$ factor with the accuracy of optimal algorithms.

研究の動機と目的

• 大規模な非ユークリッド最適化において、一様凸な目的関数を対象とする決定的および確率的1次オーダーのアルゴリズムを設計すること。
• 一様凸関数に対してミニマックス最適収束速度を達成し、反復回数の対数要因を除いて既知の下界に一致させること。
• 目的関数の強い凸性または一様凸性パラメータを事前に知らなくてもよい適応的手法を開発すること。
• 強い凸性から一様凸性へ非ユークリッド的1次オーダー手法を一般化し、一般の凸性パラメータ $\rho \in [2, \infty)$ を取り扱うこと。
• 原双対フレームワークで生じる近似問題の効率的解法スキームを提供すること、特に単体とハイパーオクタントープ制約集合に対して。

提案手法

• 本手法は、非ユークリッド的近似設定に基づく原双対勾配フレームワークを採用し、距離生成関数 $d(x)$ とBregman発散を用いて近似項を定義する。
• 結合制約をラグランジュ緩和することで、問題(11)の双対化された定式化を導入し、独立した2次元部分問題に分解可能となる。
• 標準単体およびハイパーオクタントープに対して、双対問題は各部分問題を $su + tv + u\ln u + v\ln v$ の形の関数の線形制約下での最小化に還元することで解く。
• 各2次元部分問題の解は、等式制約を満たす最小化点が最適性条件を満たすかをチェックすることで得られ、そうでなければ境界制約が有効となり、それに応じて解を設定する。
• 収束を保証する自己適応的ステップサイズルールを用いることで、未知の凸性パラメータ $\rho$ および $\mu$ に自動的に適合する。
• 収束速度は $O\left(\mu^{-2/\rho} \epsilon^{-(2(\rho-1)/\rho)}\right)$ のオーダーとなり、既知の下界に反復回数の対数要因を除いて一致する。

実験結果

リサーチクエスチョン

• RQ1 原双対勾配法は、非ユークリッド的空間における一様凸関数に対してミニマックス最適収束速度を達成できるか？
• RQ2 このような手法を、未知の強い凸性または一様凸性パラメータ $\mu$ および $\rho$ に適応可能にするにはどうすればよいか？
• RQ3 標準単体およびハイパーオクタントープなどの制約集合に対して、原双対フレームワークにおける近似問題の計算複雑度は何か？
• RQ4 一様凸問題に対する1次オーダー手法の収束速度は、一般凸関数の標準的 $O(\epsilon^{-2})$ の境界を超えて向上させられるか？
• RQ5 非ユークリッド的フレームワークは、条件数や収束速度の観点で、ユークリッド的フレームワークに比べてどのような条件下で利点を示すか？

主な発見

• 提案された原双対勾配法は、パラメータ $\rho \in [2, \infty)$ および $\mu \geq 0$ を持つ一様凸関数に対して、収束速度 $O\left(\mu^{-2/\rho} \epsilon^{-(2(\rho-1)/\rho)}\right)$ を達成し、既知の下界に反復回数の対数要因を除いて一致する。
• 本手法は適応的である：凸性パラメータ $\mu$ および $\rho$ を事前に知らなくても最適な性能を達成でき、ブラックボックス最適化に適している。
• 標準単体およびハイパーオクタントープ制約集合に対して、近似問題は2次元最適化問題への還元により、閉形式解または単純な根の探索手順を用いて効率的に解ける。
• 条件数 $\lambda = \mathcal{L}(f)/\mu(f)$ が大きい場合であっても、本手法は非ユークリッド的設定で最適性を保ち、ユークリッド的手法とは異なり性能が劣化しない。
• 解析により、本手法の最悪ケースの複雑度はミニマックス理論の観点で最適であり、与えられた問題クラスに対してより速い収束速度はあり得ないことが確認された。
• 先行研究の強い凸性（すなわち $\rho=2$）および滑らかな一様凸問題に加え、任意の $\rho \geq 2$ を取り扱う一般の一様凸ケースへと拡張された。