[論文レビュー] Stochastic Optimization for DC Functions and Non-smooth Non-convex Regularizers with Non-asymptotic Convergence

Yi Xu, Qi Qi+3 more|arXiv (Cornell University)|Nov 28, 2018

Sparse and Compressive Sensing Techniques被引用数 24

ひとこと要約

本稿では、差の凸関数（DC関数）および一般の非凸・非微分可能正則化子を含む非凸・非滑らか問題に対する、新しい確率的最適化アルゴリズムを提案する。勾配成分のホルダー連続性に適応することで、非漸近的収束保証を初めて確立し、大規模なミニバッチを必要とせず、大規模データ応用における効率的で使いやすい最適化を実現する。

ABSTRACT

Difference of convex (DC) functions cover a broad family of non-convex and possibly non-smooth and non-differentiable functions, and have wide applications in machine learning and statistics. Although deterministic algorithms for DC functions have been extensively studied, stochastic optimization that is more suitable for learning with big data remains under-explored. In this paper, we propose new stochastic optimization algorithms and study their first-order convergence theories for solving a broad family of DC functions. We improve the existing algorithms and theories of stochastic optimization for DC functions from both practical and theoretical perspectives. On the practical side, our algorithm is more user-friendly without requiring a large mini-batch size and more efficient by saving unnecessary computations. On the theoretical side, our convergence analysis does not necessarily require the involved functions to be smooth with Lipschitz continuous gradient. Instead, the convergence rate of the proposed stochastic algorithm is automatically adaptive to the H\\"{o}lder continuity of the gradient of one component function. Moreover, we extend the proposed stochastic algorithms for DC functions to solve problems with a general non-convex non-differentiable regularizer, which does not necessarily have a DC decomposition but enjoys an efficient proximal mapping. To the best of our knowledge, this is the first work that gives the first non-asymptotic convergence for solving non-convex optimization whose objective has a general non-convex non-differentiable regularizer.

研究の動機と目的

• DC分解を超える一般の正則化子を有する非凸・非滑らか問題に対する、効率的な確率的最適化手法の不足を解消すること。
• 既存の確率的アルゴリズムが勾配の精度を保証するために大規模なミニバッチを必要としているという実用的制限を克服すること。
• リプシッツ連続勾配を仮定しない理論的枠組みを構築し、成分関数のホルダー連続性に応じて収束速度を適応的に調整すること。
• DC分解が不可能な非凸・非微分可能な正則化子を扱えるように、確率的最適化を拡張すること。
• このような一般の非凸正則化問題を解く確率的アルゴリズムに対する、初めての非漸近的収束解析を提供すること。

提案手法

• 非滑らか成分を線形化し、効率的なプロキシマルマッピングを用いてプロキシマル更新を適用する確率的アルゴリズムを提案する。
• 1つの成分関数の勾配のホルダー連続性パラメータ ν に依存する適応的ステップサイズ戦略を導入し、滑らかさを仮定しない収束を可能にする。
• 不偏勾配推定の高精度を必要としないため、大規模なミニバッチを避ける確率的近似スキームを用いる。
• h(x) の線形化により凸部分問題を構築し、適応的パラメータを用いた確率的プロキシマル勾配ステップで解く。
• 正則化子 r(x) のプロキシマル作用素を活用し、r(x) が DC 関数として分解可能でない場合でも、非微分可能成分を効率的に処理する。
• 収束速度を、成分関数の正則性に応じて自動的に調整するホルダー指数 ν ∈ (0,1] に依存する収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 大規模なミニバッチを必要としないようにすることで、DC関数に対する確率的最適化がより実用的になるか？
• RQ2 リプシッツ連続勾配を仮定しない状況でも、DC関数の確率的最適化で非漸近的収束を達成できるか？
• RQ3 1つの成分関数の勾配のホルダー連続性に応じて、収束速度を適応的に調整できるか？
• RQ4 DC分解が不可能な一般の非凸・非微分可能正則化子を扱えるように、確率的アルゴリズムを拡張できるか？
• RQ5 このような一般正則化子を伴う確率的最適化において、非漸近的収束保証は初めて得られるか？

主な発見

• 提案アルゴリズムは、成分関数の勾配がリプシッツ連続でない場合でも、非漸近的収束を達成する。
• 収束速度は、1つの成分関数の勾配のホルダー連続性パラメータ ν ∈ (0,1] に自動的に適応され、柔軟性と性能が向上する。
• 高精度な確率的勾配推定を必要としないため、大規模なミニバッチを回避でき、より使いやすく計算効率的である。
• DC分解が不可能な非凸・非微分可能な正則化子を有する問題に対して、本手法は初めての非漸近的収束保証を提供する。
• 単一のアルゴリズム的パラメータの調整のみで、非滑らかおよび非凸正則化子の複雑さの上限が改善される。
• MCP、SCAD、LSP、およびキャップド ℓ₁ といった一般的な非凸正則化子のDC分解を用いた理論的分析により、提案フレームワークとの整合性が実証された。