[論文レビュー] Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization

Qi Deng, Guanghui Lan+1 more|arXiv (Cornell University)|Sep 15, 2015

Stochastic Gradient Optimization Techniques参考文献 36被引用数 5

ひとこと要約

本稿では、凸で滑らかでないおよび確率的最適化のための新しい確率的ブロック部分勾配法であるStochastic Block Dual Averaging (SBDA) を導入する。双対平均化とブロック単位の確率的部分勾配更新、および適応的ステップサイズルールを組み合わせることで、特に構造的で大きなスケールの問題において、反復ごとのコストを顕著に低減しながら、最適な収束速度を達成する。

ABSTRACT

Block coordinate descent methods and stochastic subgradient methods have been extensively studied in optimization and machine learning. By combining randomized block sampling with stochastic subgradient methods based on dual averaging, we present stochastic block dual averaging (SBDA)---a novel class of block subgradient methods for convex nonsmooth and stochastic optimization. SBDA requires only a block of subgradients and updates blocks of variables and hence has significantly lower iteration cost than traditional subgradient methods. We show that the SBDA-based methods exhibit the optimal convergence rate for convex nonsmooth stochastic optimization. More importantly, we introduce randomized stepsize rules and block sampling schemes that are adaptive to the block structures, which significantly improves the convergence rate w.r.t. the problem parameters. This is in sharp contrast to recent block subgradient methods applied to nonsmooth deterministic or stochastic optimization. For strongly convex objectives, we propose a new averaging scheme to make the regularized dual averaging method optimal, without having to resort to any accelerated schemes.

研究の動機と目的

• 大規模な凸で滑らでない最適化における、従来の部分勾配法およびブロック座標降下法のスケーラビリティの制限を解決すること。
• 反復ごとの計算コストを削減するために、1回の反復で1つのブロックの変数のみを更新する、確率的ブロック部分勾配法を構築すること。
• 滑らでない決定的および確率的最適化問題の両方において、最適な収束速度を達成すること。
• 問題の構造を活用して収束を加速する、適応的ステップサイズルールおよびブロックサンプリング方式を導入すること。
• 正則化された双対平均化が、加速を必要とせずに強い凸性の目的関数に対して最適になるように、新しい平均化方式を提案すること。

提案手法

• 反復ごとに部分勾配の1つのブロックのみを用いる、双対平均化のブロック構造を考慮した変種として、Stochastic Block Dual Averaging (SBDA) を提案する。
• 双対平均化と確率的ブロックサンプリングを統合することで、収束を維持しながら計算オーバーヘッドを低減する。
• ブロック構造および問題パラメータに依存する適応的ステップサイズを採用し、収束速度を向上させる。
• 強い凸性の目的関数に対して最適な収束を達成する、正則化された双対平均化のための新しい平均化方式を用いる。
• ブロック分離可能な正則化子 $\omega(x) = \sum_{i=1}^n \omega_i(x_i)$ を効率的に処理する、プロキシマルに似た更新ルールを適用する。
• Bregman散発の境界および確率的部分勾配誤差の伝播に関する、新たな解析技術を用いて収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 ブロック構造を有する確率的部分勾配法は、凸で滑らでない確率的最適化において最適な収束速度を達成できるか？
• RQ2 ブロック構造を活用するように設計された適応的ステップサイズルールは、既存のブロック部分勾配法を上回る収束性能を実現できるか？
• RQ3 新しい平均化方式を用いることで、加速を必要としない双対平均化法を強い凸問題に対して最適化できるか？
• RQ4 大規模最適化における収束速度および反復コストに与える確率的ブロックサンプリングの影響は何か？
• RQ5 提案手法は、既存のフル勾配およびブロック反復的部分勾配法と比較して、収束速度でどのように優れるか？

主な発見

• SBDAは、凸で滑らでない確率的最適化において、理論的下界に一致する最適な収束速度 $O(1/\sqrt{t})$ を達成する。
• 提案された適応的ステップサイズルールは、従来のブロック部分勾配法と比較して、問題パラメータに応じた収束速度を顕著に向上させる。
• 強い凸性の目的関数に対しては、新しい平均化方式により、正則化された双対平均化が加速スキームを必要とせずに最適化される。
• 1回の反復で1つのブロックの変数のみを更新するため、反復ごとのコストが低減され、大規模問題へのスケーラビリティが著しく向上する。
• 一般の凸性およびブロック分離可能な正則化子の仮定の下で収束が保証され、最適性ギャップの明示的境界が得られる。
• 数値実験（理論的分析に示唆される）により、SBDAは反復効率の観点で、標準的な部分勾配法およびブロック座標降下法を上回ることが示唆される。