[論文レビュー] A Smoothing Stochastic Gradient Method for Composite Optimization

Qihang Lin, Xi Chen+1 more|arXiv (Cornell University)|Aug 31, 2010

Stochastic Gradient Optimization Techniques参考文献 19被引用数 10

ひとこと要約

本稿では、滑らかで期待値に基づく目的関数と非滑らか成分を含む複合凸最適化問題に対するスムージング確率的勾配法を提案する。非滑らか項が特定のmax構造を持つ場合にスムージング技術を組み込むことで、収束速度 $O(1/ar{N})$ を達成し、合成データを用いた正則化線形回帰およびロジスティック回帰問題において数値的に検証された。

ABSTRACT

We consider the unconstrained optimization problem whose objective function is composed of a smooth and a non-smooth conponents where the smooth component is the expectation a random function. This type of problem arises in some interesting applications in machine learning. We propose a stochastic gradient descent algorithm for this class of optimization problem. When the non-smooth component has a particular structure, we propose another stochastic gradient descent algorithm by incorporating a smoothing method into our first algorithm. The proofs of the convergence rates of these two algorithms are given and we show the numerical performance of our algorithm by applying them to regularized linear regression problems with different sets of synthetic data.

研究の動機と目的

• 目的関数が滑らかで凸な関数（期待値として定義される）と非滑らかで凸な関数の和である複合最適化問題に対処すること。
• 正確な勾配の計算が計算的に不可能な大規模問題を効率的に処理できる確率的勾配降下法を開発すること。
• 射影ステップに閉形式解がない場合に、構造的非滑らか成分に対してスムージング技術を導入することで、一次の最適化手法を拡張すること。
• 勾配の分散とリプシッツ連続性に関する標準的な仮定の下で、提案された確率的アルゴリズムの理論的収束速度を確立すること。
• 合成データを用いた正則化回帰問題における数値実験を通じて、アルゴリズムのスケーラビリティと効率性を示すこと。

提案手法

• 滑らかで凸な関数 $f(x) = \mathbb{E}[F(x,\xi)]$ に対して、不偏な確率的勾配 $G(x,\xi)$ を用いた確率的勾配降下法を提案し、$\mathbb{E}[\|\nabla f(x) - G(x,\xi)\|^2] \leq \sigma^2$ を満たす。
• 非滑らか成分 $h(x)$ が $h(x) = \max_{v \in Q} v^T A x$ の形を持つ場合に、$\phi(x) = f(x) + h(x)$ の滑らか近似を構築するスムージング技術を導入する。
• ネステロフのスムージングスキームを用いて非滑らか問題を滑らか問題に変換し、勾配に基づく効率的な最適化を可能にする。
• 従来の確率的近似手法にインspiredされた適応的ステップサイズを用いるが、確率的部分勾配を用いる加速スキームとは異なる。
• 射影マッピングが閉形式で存在する場合は直接計算し、そうでない場合はサブルーチンを用いて解く、射影勾配更新を採用する。
• 正則化線形回帰およびロジスティック回帰にアルゴリズムを適用し、$\ell_1$-ノルムおよび階層的ノルムを正則化項として用いる。

実験結果

リサーチクエスチョン

• RQ1 滑らかで期待値に基づく目的関数と非滑らか成分を含む複合凸最適化問題に対して、確率的勾配法が $O(1/\sqrt{N})$ の収束速度を達成できるか？
• RQ2 構造的非滑らか成分に対してスムージング技術を組み込むことで、確率的勾配法の収束性と実用的性能が向上するか？
• RQ3 提案されたアルゴリズムは、AC-SA や標準的な SG と比較して、収束速度およびスケーラビリティの面で優れているか？
• RQ4 スムージングアプローチにより、標準的な射影マッピングが計算不能な場合でも、閉形式の射影を可能にするか？
• RQ5 大規模な合成正則化回帰問題におけるアルゴリズムの実効的性能はいかがなものか？

主な発見

• 提案された確率的勾配法は、強い凸性がない非加速確率的手法で達成可能な最良のレートと同等の $O(1/\sqrt{N})$ の収束速度を達成した。
• 非滑らか成分が $h(x) = \max_{v \in Q} v^T A x$ の形を持つ問題では、スムージングに基づくバージョンがより速い収束と優れた数値的性能を示した。
• $K=1000$, $p=20$, $N=50,000$ 回の反復における $\ell_1$-正則化ロジスティック回帰では、SSG がステップサイズの積極的選択により SG や AC-SA を上回った。
• $K=1000$, $p=32$ の階層的ノルム正則化ロジスティック回帰では、SSG は閉形式射影を可能にするため、SG や AC-SA よりも効率的であった（他の手法は反復的サブルーチンを必要とした）。
• 合成データに対する数値結果から、異なる正則化構造においても、提案されたアルゴリズムのスケーラビリティとロバスト性が確認された。
• 射影マッピングに閉形式解がない場合でも、スムージング技術を活用することで効率的な最適化が可能であることが示された。