[論文レビュー] RSG: Beating Subgradient Method without Smoothness and Strong Convexity

Tianbao Yang, Qihang Lin|arXiv (Cornell University)|Dec 9, 2015

Advanced Optimization Algorithms Research被引用数 10

ひとこと要約

この論文は、滑らかでなく、強く凸でない最適化問題における標準的サブグラディエント法の収束を著しく改善するリスタート付きサブグラディエント（RSG）法を導入する。周期的なリスタートと徐々に小さくなるステップサイズを用い、局所的誤差バインディング条件を活用することで、滑らかさや強い凸性を仮定せずとも、より良い反復複雑性を達成する。具体的には、局所的に二次的に成長する関数では O(1/ε log(1/ε))、Kurdyka-Łojasiewicz 性質を満たす関数では O(1/ε^{2β} log(1/ε)) の反復複雑性を達成する。

ABSTRACT

In this paper, we study the efficiency of a {\bf R}estarted {\bf S}ub{\bf G}radient (RSG) method that periodically restarts the standard subgradient method (SG). We show that, when applied to a broad class of convex optimization problems, RSG method can find an $ε$-optimal solution with a lower complexity than the SG method. In particular, we first show that RSG can reduce the dependence of SG's iteration complexity on the distance between the initial solution and the optimal set to that between the $ε$-level set and the optimal set {multiplied by a logarithmic factor}. Moreover, we show the advantages of RSG over SG in solving three different families of convex optimization problems. (a) For the problems whose epigraph is a polyhedron, RSG is shown to converge linearly. (b) For the problems with local quadratic growth property in the $ε$-sublevel set, RSG has an $O(\frac{1}ε\log(\frac{1}ε))$ iteration complexity. (c) For the problems that admit a local Kurdyka-Łojasiewicz property with a power constant of $β\in[0,1)$, RSG has an $O(\frac{1}{ε^{2β}}\log(\frac{1}ε))$ iteration complexity. The novelty of our analysis lies at exploiting the lower bound of the first-order optimality residual at the $ε$-level set. It is this novelty that allows us to explore the local properties of functions (e.g., local quadratic growth property, local Kurdyka-Łojasiewicz property, more generally local error bound conditions) to develop the improved convergence of RSG. { We also develop a practical variant of RSG enjoying faster convergence than the SG method, which can be run without knowing the involved parameters in the local error bound condition.} We demonstrate the effectiveness of the proposed algorithms on several machine learning tasks including regression, classification and matrix completion.

研究の動機と目的

• 滑らかでなく、強く凸でない最適化問題における標準的サブグラディエント法の収束の悪さを解消すること。
• 滑らかさや強い凸性を仮定せず、より速い収束を達成するサブグラディエント法のリスタート版を開発すること。
• 局所的誤差バインディング、二次的成長、Kurdyka-Łojasiewicz 条件などの局所的性質を活用して、改善された反復複雑性の境界を確立すること。
• 局所的誤差バインディングパラメータの事前知識を必要としない実用的でパラメータフリーの RSG の変種を設計すること。
• 回帰、分類、行列補完などの機械学習タスクにおける RSG の有効性を実験的に検証すること。

提案手法

• RSG 法は複数の段階を経て実行され、各段階で固定された定数ステップサイズを用いた投影サブグラディエント降下を実行する。
• ステップサイズは段階を跨いで幾何的に減少させられ、各段階は直前の段階の解からウォームスタートされる。
• ε-準最適解集合における一次の最適性残差の下界を活用して、改善された収束保証を導出する。
• 局所的誤差バインディング条件を満たす問題に対して、一般化された既存の誤差バインディングおよび成長条件を統合する一般的な複雑性解析を構築する。
• 局所的誤差バインディング定数の知識を必要とせず、再起動頻度を適応的に調整することで、RSG のパラメータフリーな変種を提案する。
• 理論的分析は Kurdyka-Łojasiewicz 不等式および部分微分のメトリック正則性に裏打ちされ、局所的幾何構造と収束速度を結びつける。

実験結果

リサーチクエスチョン

• RQ1 滑らかさや強い凸性を仮定せず、サブグラディエント法のリスタートが滑らかでなく、強く凸でない問題における収束複雑性を改善できるか？
• RQ2 局所的誤差バインディング条件下で、RSG 法の反復複雑性は標準的サブグラディエント法と比べてどのように異なるか？
• RQ3 局所的に二次的成長または Kurdyka-Łojasiewicz 性質を満たす問題に対して、RSG の収束速度はどの程度か？
• RQ4 局所的問題構造の事前知識を必要とせず、高速収束を維持できる実用的でパラメータフリーな RSG の変種を設計できるか？
• RQ5 回帰、分類、行列補完などの実世界の機械学習タスクにおいて、RSG は既存のサブグラディエント法を上回る性能を示すか？

主な発見

• RSG は、最適集合への初期距離に依存する反復複雑性を O(1/ε²) から O(1/ε² log(ε₀/ε)) に低下させ、ε₀ は初期の最適性ギャップを表す。
• 局所的に二次的に成長する関数に対して、RSG は O(1/ε log(1/ε)) の反復複雑性を達成し、標準的サブグラディエント法よりも顕著に改善される。
• 局所的に Kurdyka-Łojasiewicz 性質を満たす関数（パワー定数 β ∈ [0,1)）に対して、RSG は O(1/ε^{2β} log(1/ε)) の反復複雑性を達成する。
• 関数 f の上位集合（epigraph）が多面体である場合、RSG は O(log(1/ε)) の反復複雑性で線形収束を達成する。
• 提案されたパラメータフリーな RSG の変種は、標準的サブグラディエント法よりも速く収束し、実際には Freund & Lu の SG アルゴリズムと同等の性能を示す。
• 回帰、分類、行列補完タスクにおける実験結果から、RSG は収束速度および目的関数値の低下の両面で、標準的サブグラディエント法を上回ることが確認された。