[論文レビュー] Accelerated Stochastic Mirror Descent Algorithms For Composite Non-strongly Convex Optimization

Le Thi Khanh Hien, Cuong V. Nguyen+3 more|arXiv (Cornell University)|May 23, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用数 17

ひとこと要約

本稿では、二次的正則化を必要とせずに、合成的で非強い凸な最適化のための高速化された確率的ミラー降下アルゴリズムを提案する。Tsengの決定的高速化近位勾配法を確率的・ランダム化された設定に拡張することで、$O(1/k^2)$ の最適収束速度を達成し、パラメータチューニングによって複雑さを改善する。

ABSTRACT

We consider the problem of minimizing the sum of the average function consisting of a large number of smooth convex component functions and a general convex function that can be non-differentiable. Although many methods have been proposed to solve the problem with the assumption that the sum is strongly convex, few methods support the non-strongly convex cases. Adding a small quadratic regularization is the common trick used to tackle non-strongly convex problems; however, it may worsen certain qualities of solutions or weaken the performance of the algorithms. Avoiding this trick, we extend the deterministic accelerated proximal gradient methods of Paul Tseng to randomized versions for solving the problem without the strongly convex assumption. Our algorithms achieve the optimal convergence rate $O( icefrac{1}{k^2})$. Tuning involved parameters helps our algorithms get better complexity compared with the deterministic accelerated proximal gradient methods. We also propose a scheme for non-smooth problem.

研究の動機と目的

• 滑らかで強い凸でない成分と一般かつ微分可能でない正則化子を含む合成最適化問題に対処すること。
• 解の品質やアルゴリズムの性能を低下させる可能性がある二次的正則化の必要性を排除すること。
• 非強い凸性の仮定の下で、決定的高速化近位勾配法を確率的・ランダム化された設定に拡張すること。
• 強い凸性に依存せずに最適な収束速度を達成すること。
• 提案されたフレームワーク内での非滑らか問題に適用可能なスキームを開発すること。

提案手法

• 大規模な合成最適化のため、Paul Tseng の決定的高速化近位勾配法を確率的・ランダム化された設定に適応する。
• 強い凸性を必要とせず、加速を維持する確率的ミラー降下フレームワークを導入する。
• 各反復で成分のサブセットを用いて滑らか成分関数の勾配の確率的近似を採用する。
• 最適化の部分問題において、非滑らかで一般の凸正則化子を処理するために近位作用素を用いる。
• 決定的対比に対して反復複雑さを改善するために、アルゴリズムのパラメータをチューニングする。
• 目的関数内の非滑らか成分を処理するための特別なスキームを提案する。

実験結果

リサーチクエスチョン

• RQ1 高速化された確率的ミラー降下は、二次的正則化なしに非強い凸な合成問題に対して最適な収束を達成できるか？
• RQ2 パラメータチューニングは、提案された確率的高速化アルゴリズムの反復複雑さにどのように影響するか？
• RQ3 非強い凸性の仮定の下で、提案されたランダム化アルゴリズムの収束速度は何か？
• RQ4 このフレームワークは、非滑らかな正則化子を効果的に処理できるように拡張可能か？
• RQ5 収束速度と複雑さの観点から、確率的手法は決定的高速化手法と比べてどのように性能を発揮するか？

主な発見

• 提案されたアルゴリズムは、合成的で非強い凸な問題に対して最適な収束速度 $O(1/k^2)$ を達成する。
• 二次的正則化を回避することで、解の品質を保ち、性能の低下を防ぐ。
• パラメータチューニングにより、決定的高速化近位勾配法と比較して反復複雑さが向上する。
• 提案されたスキームにより、非滑らか問題への適用が可能である。
• ランダム化バージョンは、強い凸性を仮定せずとも、加速と収束保証を維持する。
• 理論的収束速度は、決定的高速化手法の最高水準のレートと一致するが、確率的設定下での実現である。