[論文レビュー] A Lower Bound for the Optimization of Finite Sums

Alekh Agarwal, Léon Bottou|arXiv (Cornell University)|Oct 2, 2014

Stochastic Gradient Optimization Techniques参考文献 17被引用数 46

ひとこと要約

この論文は、$ n $ 個の $ L $-スムーズかつ $ \mu $-強い凸関数の有限和を最適化するための理論的下界を確立し、任意の決定的アルゴリズムが $ \epsilon $-精度に到達するには、$ \Omega(n + \sqrt{n(\kappa - 1)}\log(1/\epsilon)) $ 回の反復を必要とする、ここで $ \kappa = L/\mu $ であることを示している。この結果は、インクリメンタルな一次順序法の根本的な限界を強調しており、SAG、SVRG、SAGA といった最先端の手法とほとんど同等の性能を示しており、わずかな差異しか残っていないことを示している。

ABSTRACT

This paper presents a lower bound for optimizing a finite sum of $n$ functions, where each function is $L$-smooth and the sum is $μ$-strongly convex. We show that no algorithm can reach an error $ε$ in minimizing all functions from this class in fewer than $Ω(n + \sqrt{n(κ-1)}\log(1/ε))$ iterations, where $κ=L/μ$ is a surrogate condition number. We then compare this lower bound to upper bounds for recently developed methods specializing to this setting. When the functions involved in this sum are not arbitrary, but based on i.i.d. random data, then we further contrast these complexity results with those for optimal first-order methods to directly optimize the sum. The conclusion we draw is that a lot of caution is necessary for an accurate comparison, and identify machine learning scenarios where the new methods help computationally.

研究の動機と目的

• 有限和のスムーズかつ強い凸関数を最小化するための決定的アルゴリズムの反復複雑度に対する根本的な下界を確立すること。
• 標準的な確率的およびバッチ法と比較して、インクリメンタル一次順序最適化法の理論的限界を明確にすること。
• SAG、SVRG、SAGA のような既存の手法が最適に近いか、さらなる改善が可能かどうかを調査すること。
• $ n $ 個の関数が分布からの独立同一分布（i.i.d.）ランダムサンプルである統計的設定におけるこの下界の意味を検討すること。
• 特に悪条件問題において、標準的一次順序法と比較してインクリメンタル法が計算上の利点を示す状況を特定すること。

提案手法

• アルゴリズムが点 $ x $ における関数 $ g_i $ の勾配を1つだけクエリする、インクリメンタル一次順序オракル（IFO）複雑度モデルを導入する。
• 決定的アルゴリズムの最悪ケース動作を模倣するために、慎重に設計された関数の系列を用いた抵抗型オラクルの議論を構築する。
• 反復 $ x_K $ の再帰的解析を用い、最悪初期化のもとで誤差 $ \|x_K - x^*_f\| $ が高々 $ \gamma q^{4K/n} $ の速度で減少することを示す（$ q < 1 $）。
• ジェンセンの不等式と凸性の議論を適用し、誤差の増大に関する下界を導出し、最終的な複雑度下界に至る。
• $ \epsilon < 1 $ の場合に下界を精密化するため、対数不等式を含む技術的補題を用いることで、$ \epsilon $ が小さい場合でも下界が成り立つように保証する。
• 得られた下界を、既知の IFO 法（例：SAG、SVRG、SAGA）および双対座標法（例：ASDCA、SPDC）の上界と比較し、タイトネスを示す。

実験結果

リサーチクエスチョン

• RQ1 有限和の $ n $ 個の $ L $-スムーズかつ $ \mu $-強い凸関数を $ \epsilon $-精度で最小化するために、必要な IFO クエリの最小数は何か？
• RQ2 決定的アルゴリズムの下界が、SAG、SVRG、SAGA のような既存の IFO 法の上界と比べてどのように異なるか？
• RQ3 悪条件問題において、インクリメンタル一次順序法は標準的一次順序法よりも著しく優れた収束レートを達成できるか？
• RQ4 問題の有限和構造が、一般の確率的またはバッチ最適化法よりも顕著に良い収束を可能にするか？
• RQ5 $ n $ 個の関数が分布からの独立同一分布（i.i.d.）サンプルである統計的設定において、インクリメンタル法は最適一次順序法よりも計算上の利点を提供するか？

主な発見

• この論文は、任意の決定的アルゴリズムが、$ n $ 個の $ L $-スムーズかつ $ \mu $-強い凸関数の有限和を $ \epsilon $-精度で最小化するための下界として、$ \Omega(n + \sqrt{n(\kappa - 1)}\log(1/\epsilon)) $ 回の反復を示している。
• この下界はほぼタイトであり、SAG、SVRG、SAGA のような既存の IFO 法が $ \mathcal{O}((n + \kappa)\log(1/\epsilon)) $ の反復複雑度を達成しており、対数的および定数係数の差異しか残っていない。
• ASDCA や SPDC のような双対座標法は、より近い上界を達成しているが、これらは IFO 法ではないため、IFO 法と双対法の間に潜在的なギャップがあることを示唆している。
• 悪条件問題（$ \kappa \gg 1 $）では、SAG や SVRG のようなインクリメンタル法が、$ \Omega(1/k) $ の収束に制限される標準的一次順序法を著しく上回る。
• 現在の下界は確率的アルゴリズムに拡張されていないが、著者らは類似の下界が成り立つと仮説を立てており、確率的ケースの証明を現在進行中である。
• i.i.d. データの統計的設定では、最悪ケース解析が実際の性能を反映しない可能性があり、ASDCA のような手法は SAG のような IFO 手法よりも劣ることがある。これは、問題依存定数の重要性を強調している。