[論文レビュー] An optimal randomized incremental gradient method

Guanghui Lan, Yi Zhou|arXiv (Cornell University)|Jul 8, 2015

Stochastic Gradient Optimization Techniques参考文献 25被引用数 40

ひとこと要約

本稿は、滑らかで合成的な項を含む有限和凸最適化問題に対して、反復ごとに1回の勾配計算のみを必要とし、期待値および高確率的に、決定的手法よりも${\cal O}(\sqrt{m})$回の勾配評価が少ない最適な複雑度境界を達成する、確率的原双対勾配（RPDG）法を提案する。この手法は、確率的インクリメンタル勾配法に対する新しい下界を用いて最適性が示されている。

ABSTRACT

In this paper, we consider a class of finite-sum convex optimization problems whose objective function is given by the summation of $m$ ($\ge 1$) smooth components together with some other relatively simple terms. We first introduce a deterministic primal-dual gradient (PDG) method that can achieve the optimal black-box iteration complexity for solving these composite optimization problems using a primal-dual termination criterion. Our major contribution is to develop a randomized primal-dual gradient (RPDG) method, which needs to compute the gradient of only one randomly selected smooth component at each iteration, but can possibly achieve better complexity than PDG in terms of the total number of gradient evaluations. More specifically, we show that the total number of gradient evaluations performed by RPDG can be ${\cal O} (\sqrt{m})$ times smaller, both in expectation and with high probability, than those performed by deterministic optimal first-order methods under favorable situations. We also show that the complexity of the RPDG method is not improvable by developing a new lower complexity bound for a general class of randomized methods for solving large-scale finite-sum convex optimization problems. Moreover, through the development of PDG and RPDG, we introduce a novel game-theoretic interpretation for these optimal methods for convex optimization.

研究の動機と目的

• 滑らかで合成的な項を含む有限和凸最適化問題に対して、最適な反復複雑度を達成する確率的インクリメンタル勾配法を開発すること。
• 原双対最適性ギャップおよび反復点から最適解までの距離を用いて、RPDG法の複雑度境界を原問題の最適性ギャップおよび解への距離の観点から確立すること。
• 一般クラスの確率的手法に対して新しい下界を導出し、RPDG法の複雑度が改善不能であることを証明すること。
• 原双対勾配（PDG）およびRPDGフレームワークの開発を通じて、凸最適化における最適一次順序法のゲーム理論的解釈を提示すること。

提案手法

• 原双対終了基準を用いて、最適ブラックボックス反復複雑度を達成する決定的原双対勾配（PDG）法を提案する。
• 各反復でランダムに選択された1つの滑らか成分の勾配のみを計算する確率的原双対勾配（RPDG）法を構築する。
• 反復点から最適解までの距離と原双対最適性ギャップを収束基準として用い、収束解析を有効反復平均について行う。
• 目的関数の強凸性を保証するために、モジュラス1の強凸正則化子$\omega(x)$を用いる。
• 期待値および高確率的下での複雑度境界を導出し、有利な条件下で決定的最適手法よりも${\cal O}(\sqrt{m})$の改善が得られることを示す。
• 確率的インクリメンタル勾配法に対する新しい下界を確立し、RPDG法の複雑度が与えられた問題仮定のもとで改善不能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 有限和凸最適化問題に対して、決定的最適一次順序法よりも優れた勾配評価複雑度を達成できる確率的インクリメンタル勾配法は存在するか？
• RQ2 提案された確率的手法の複雑度は最適であり、その最適性は下界を用いて形式的に証明可能か？
• RQ3 原双対フレームワークから、最適一次順序法のゲーム理論的解釈はどのように導かれるか？
• RQ4 大規模な有限和問題において、ランダムな成分選択の影響は収束速度および勾配評価回数にどのように現れるか？

主な発見

• RPDG法は、期待値および高確率的に、決定的最適一次順序法よりも${\cal O}(\sqrt{m})$回の勾配評価が少ない。
• RPDGによる勾配評価総数の上限は${\cal O}\left\{\sqrt{m}\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right\}$であり、これは決定的手法の${\cal O}\left\{m\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right\}$の境界よりも顕著に優れている。
• 確率的インクリメンタル勾配法に対する新しい下界が導出され、RPDG法の複雑度が与えられた問題仮定のもとで改善不能であることが証明された。
• 収束解析は有効反復平均$\bar{x}^k$および反復点$x^k$の両方について確立され、$\mathbb{E}[\Psi(\bar{x}^k) - \Psi^*]$および$\mathbb{E}[\|x^k - x^*\|^2]$の境界が得られた。
• 問題次元$n$が大きくても、反復複雑度および勾配評価回数の観点から、この手法は最適であることが示された。
• 非強凸、非滑らか、非有界な問題への拡張について議論されたが、主な結果は滑らかで強凸な場合に焦点を当てている。