[論文レビュー] Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning

Yiyuan She, Zhifeng Wang+1 more|arXiv (Cornell University)|Dec 16, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、滑らかでない、非凸な統計的学習のための一般化されたブレグマン補助フレームワークを提案し、正則性条件下で幾何的収束率を達成するグローバル収束を可能にする。アルゴリズムの固定点に対する確率的保証を確立し、凸性や滑らかさを仮定しない自己適応的モーメンタムに基づく加速手法を開発する。

ABSTRACT

Modern statistical applications often involve minimizing an objective function that may be nonsmooth and/or nonconvex. This paper focuses on a broad Bregman-surrogate algorithm framework including the local linear approximation, mirror descent, iterative thresholding, DC programming and many others as particular instances. The recharacterization via generalized Bregman functions enables us to construct suitable error measures and establish global convergence rates for nonconvex and nonsmooth objectives in possibly high dimensions. For sparse learning problems with a composite objective, under some regularity conditions, the obtained estimators as the surrogate's fixed points, though not necessarily local minimizers, enjoy provable statistical guarantees, and the sequence of iterates can be shown to approach the statistical truth within the desired accuracy geometrically fast. The paper also studies how to design adaptive momentum based accelerations without assuming convexity or smoothness by carefully controlling stepsize and relaxation parameters.

研究の動機と目的

• 高次元統計的学習における非凸的・滑らかでない最適化の普遍的収束速度解析の欠如に対処する。
• 一様なブレグマン補助フレームワークの下で、LLA、反復しきい値処理、ミラー降下法を含む広範なアルゴリズムクラスに対するグローバル収束保証を提供する。
• 局所的最小値でない場合でも、合成目的関数における固定点推定器の統計的精度を確立する。
• 凸性や滑らかさの仮定に依存しない自己適応的モーメンタムベースの加速スキームを設計する。
• スパースな高次元モデルにおいて、反復点が統計的真値に幾何的速さで収束することを示す。

提案手法

• 滑らかさや凸性の制限がない関数 $ \psi $ を用いて、一般化されたブレグマン補助関数 $ g(\boldsymbol{\beta}; \boldsymbol{\beta}^{(t)}) = f(\boldsymbol{\beta}) + \Delta_{\psi}(\boldsymbol{\beta}, \boldsymbol{\beta}^{(t)}) $ を用いて最適化を再定式化する。
• 一般化されたブレグマン関数を用いて、問題固有の誤差測度を構築し、厳密な収束解析を可能にする。
• 点 $ \boldsymbol{\beta} = \boldsymbol{\beta}^{(t)} $ で高次近似を実現するMM原理を適用し、厳密な主要化制約を回避する。
• 非凸的・滑らかでない設定においても、モーメンタムベースの加速を可能にするために、自己適応的ステップサイズと緩和パラメータを導入する。
• 一般化されたブレグマン関数の微分法則を活用し、タイトな正則性条件を導出し、理論的証明を簡略化する。
• 高次元設定下で、二乗損失関数とトゥーキーのバイワイト損失関数を用いた $ P_H $-正則化回帰にフレームワークを検証する。

Figure C.1: Log-log plot of optimization error v.s. number of iterations: mirror descent for IS divergence minimization with 50 random starting points. All error curves are bounded above by the dashed line which has slope $-1$ .

実験結果

リサーチクエスチョン

• RQ1 滑らかでない、非凸な統計的学習問題のためのグローバル収束速度解析を統一的に扱うフレームワークを開発できるか？
• RQ2 合成目的関数におけるブレグマン補助アルゴリズムの固定点は、局所的最小値でなくても、確実な統計的精度を達成できるか？
• RQ3 滑らかさや凸性の仮定なしに、モーメンタムベースの加速を非凸的・滑らかでない問題に一般化できるか？
• RQ4 本フレームワーク下で、高次元スパースモデルにおける反復点の統計的真値への収束速度はどの程度か？
• RQ5 自己適応的ステップサイズと緩和パラメータの実装が、実際の計算効率と統計的精度に与える影響は何か？

主な発見

• 一般化されたブレグマン補助フレームワークは、LLA、反復しきい値処理、ミラー降下法といった既存のアルゴリズムを統一的かつ再解釈的な理論的枠組みで再構築する。
• 正則性条件下で、反復点の列 $ \boldsymbol{\beta}^{(t)} $ は統計的真値 $ \boldsymbol{\beta}^* $ に幾何的速さで収束し、統計的誤差は指数関数的に減少する。
• 固定点は、局所的最小値でない場合でも、合成目的関数設定下でミニマックス最適な統計的精度を達成する。
• 収束速度は、ブレグマン不一致測度 $ \Delta_{\psi}(\boldsymbol{\beta}^*, \boldsymbol{\beta}^{(t)}) $ に支配され、反復の初期段階と後期段階の両方で指数的減衰を示す。
• 自己適応的モーメンタム加速により、IS発散最小化では反復回数が最大90％削減され、ロバスト回帰では総実行時間を30％以上短縮し、統計的精度が向上する。
• シミュレーションにより、初期点がいかなるものであっても、同じ統計的精度の同一の順序に収束することが確認され、フレームワークのグローバル収束性と頑健性が裏付けられる。

Figure C.2: Log-log plot of optimization error v.s. number of iterations: DC programming for capped- $\ell_{1}$ SVM (50 different initial points).