[論文レビュー] Accelerate Stochastic Subgradient Method by Leveraging Local Error Bound.

Yi Xu, Qihang Lin+1 more|arXiv (Cornell University)|Jul 4, 2016

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、局所的誤差バインディング条件を活用することで、非強い凸最適化における2つの高速化された確率的部分勾配法を提案する。歴史的な解の周囲の局所的領域を段階的に縮小することにより（明示的な球体制約または暗黙の正則化を通じて）、初期解から最適集合までの距離に対して対数的依存性を示す高確率的反復複雑性が向上し、特にℓ₁正則化された多面体損失に対しては対数的複雑性を達成する。

ABSTRACT

In this paper, we propose two accelerated stochastic {\bf subgradient} methods for stochastic non-strongly convex optimization problems by leveraging a generic local error bound condition. The novelty of the proposed methods lies at smartly leveraging the recent historical solution to tackle the variance in the stochastic subgradient. The key idea of both methods is to iteratively solve the original problem approximately in a local region around a recent historical solution with size of the local region gradually decreasing as the solution approaches the optimal set. The difference of the two methods lies at how to construct the local region. The first method uses an explicit ball constraint and the second method uses an implicit regularization approach. For both methods, we establish the improved iteration complexity in a high probability for achieving an $\epsilon$-optimal solution. Besides the improved order of iteration complexity with a high probability, the proposed algorithms also enjoy a logarithmic dependence on the distance of the initial solution to the optimal set. When applied to the $\ell_1$ regularized polyhedral loss minimization (e.g., hinge loss, absolute loss), the proposed stochastic methods have a logarithmic iteration complexity.

研究の動機と目的

• 非強い凸設定における確率的部分勾配法の収束が遅いという問題に対処すること。
• 高確率的条件下でε最適解を達成するための反復複雑性を改善すること。
• 強い凸性を必要とせずに、局所的誤差バインディング条件を活用して収束を加速すること。
• 初期解から最適集合までの距離に対して対数的依存性を達成すること。
• ℓ₁正則化された多面体損失最小化問題に対して、効果的に適用できること。

提案手法

• アルゴリズムは、最近の歴史的解を中心とする縮小する局所的領域内で、元の問題を逐次的に近似的に解く。
• 局所的領域は、球体制約を明示的に定義するか、正則化を通じて暗黙的に定義され、局所的誤差バインディング構造に適合する。
• 解が最適集合に近づくに従い、局所的領域のサイズが時間とともに減少し、分散低減が促進される。
• アルゴリズムは確率的部分勾配を使用するが、過去の解の周囲の局所的近似に焦点を当てることで分散を低減する。
• 理論的分析により、高確率的収束が保証され、改善された反復複雑性の上限が得られる。
• 特に、ヒンジ損失や絶対損失などの多面体損失を持つℓ₁正則化問題において、顕著に効果的である。

実験結果

リサーチクエスチョン

• RQ1 局所的誤差バインディング条件を活用することで、非強い凸設定における確率的部分勾配法の収束を加速できるか？
• RQ2 明示的な球体制約と暗黙の正則化の選択が、収束性能に与える影響は何か？
• RQ3 局所的誤差バインディング仮定を用いた場合の反復複雑性はどのようになるか？
• RQ4 初期解から最適集合までの距離に、対数的依存性が達成されるか？
• RQ5 提案手法は、ℓ₁正則化された多面体損失最小化問題において、改善された複雑性を達成できるか？

主な発見

• 提案手法は、非強い凸確率的最適化におけるε最適性を達成する高確率的反復複雑性を改善する。
• 反復複雑性は、最適集合までの初期距離に対して対数的依存性を示し、解に近づくに従い収束が向上する。
• ℓ₁正則化された多面体損失最小化問題では、対数的反復複雑性を達成し、標準的手法に比べ顕著な改善が得られる。
• 局所的誤差バインディング条件の活用により、局所的近似による分散低減が可能になる。
• 明示的および暗黙的の両方の局所的領域定義法が、同等の収束保証と改善された複雑性を提供する。
• 理論的分析により、局所的誤差バインディングに関する緩い仮定のもとで、高確率的収束が確認される。