[論文レビュー] Accelerated Stochastic Subgradient Methods under Local Error Bound Condition

Yi Xu, Qihang Lin+1 more|arXiv (Cornell University)|Jul 4, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用数 10

ひとこと要約

本稿では、局所的誤差バインディング条件を活用することで、非強い凸最適化における2つの高速化された確率的部分勾配法を提案する。繰り返し、歴史的な解の周囲の縮小する局所領域で問題を解くことで、明示的な球制約または暗黙の正則化を用いることで、初期距離の対数的依存性を有する高確率的反復複雑度を達成し、特にε-正則化多面体損失問題におけるε-最適解の達成に対しても対数的複雑度を実現する。

ABSTRACT

In this paper, we propose two {\bf accelerated stochastic subgradient} methods for stochastic non-strongly convex optimization problems by leveraging a generic local error bound condition. The novelty of the proposed methods lies at smartly leveraging the recent historical solution to tackle the variance in the stochastic subgradient. The key idea of both methods is to iteratively solve the original problem approximately in a local region around a recent historical solution with size of the local region gradually decreasing as the solution approaches the optimal set. The difference of the two methods lies at how to construct the local region. The first method uses an explicit ball constraint and the second method uses an implicit regularization approach. For both methods, we establish the improved iteration complexity in a high probability for achieving an $\epsilon$-optimal solution. Besides the improved order of iteration complexity with a high probability, the proposed algorithms also enjoy a logarithmic dependence on the distance of the initial solution to the optimal set. We also consider applications in machine learning and demonstrate that the proposed algorithms enjoy faster convergence than the traditional stochastic subgradient method. For example, when applied to the $\ell_1$ regularized polyhedral loss minimization (e.g., hinge loss, absolute loss), the proposed stochastic methods have a logarithmic iteration complexity.

研究の動機と目的

• 非強い凸最適化における従来の確率的部分勾配法の収束遅さを解消すること。
• 局所的誤差バインディング条件下でε-最適解を達成するための反復複雑度を改善すること。
• 歴史的な解の情報を利用することで、最適集合への初期距離に依存する部分を低減すること。
• 確率的部分勾配の分散を扱いながらも加速を維持する手法を設計すること。
• 機械学習応用（例：µ₁-正則化ヒンジ損失および絶対損失最小化）における実用的利点を示すこと。

提案手法

• 最近の歴史的解の周囲に局所領域を設定し、反復が最適集合に近づくにつれて領域のサイズを小さくする。
• 最初の手法では、歴史的解を中心とする明示的な球制約を課して探索空間を制限する。
• 2番目の手法では、明示的な制約なしに局所領域の形状を正則化する暗黙の正則化アプローチを採用する。
• 両手法とも、縮小する局所領域内で元の目的関数を近似的に最小化することで、部分勾配の分散を低減する。
• アルゴリズムは、改善された反復複雑度を達成する高確率的収束保証を設計する。
• 局所的誤差バインディング条件を活用し、解が最適集合に近づくにつれて進捗が加速することを保証する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性を要件とせず、局所的誤差バインディング条件下で確率的部分勾配法を高速化できるか？
• RQ2 明示的な球制約と暗黙の正則化の選択が収束性能に与える影響は何か？
• RQ3 提案手法のε-最適解を達成するための高確率的反復複雑度は何か？
• RQ4 提案手法は最適集合への初期距離に対数的依存性を達成するか？
• RQ5 ヒンジ損失や絶対損失最小化などの機械学習問題に、これらの手法は効果的に適用可能か？

主な発見

• 提案手法は、標準的な確率的部分勾配法と比較して、改善された高確率的反復複雑度を達成する。
• 反復複雑度は、最適集合への初期距離に対数的依存性を示し、標準的手法の多項式的依存性と比較して顕著な改善を示す。
• µ₁-正則化多面体損失最小化（例：ヒンジ損失、絶対損失）において、必要な精度εに対する反復複雑度は対数的である。
• 局所部分問題における歴史的解の利用により、確率的部分勾配の分散が効果的に低減される。
• 暗黙の正則化バージョンは、明示的球制約法と同等の性能を達成するが、アルゴリズムの柔軟性が向上する。
• 機械学習応用における実験結果から、従来の確率的部分勾配法よりも高速な収束が確認された。