[論文レビュー] Regularized Risk Minimization by Nesterov's Accelerated Gradient Methods: Algorithmic Extensions and Empirical Studies

Xinhua Zhang, Ankan Saha+1 more|arXiv (Cornell University)|Nov 1, 2010

Sparse and Compressive Sensing Techniques参考文献 44被引用数 5

ひとこと要約

この論文は、Bregman散発に基づくprox関数を用いて、強い凸性および合成正則化リスク最小化問題を扱うために、ネステロフの加速勾配法（AGM）を拡張する。これにより、適応的 Lipschitz 定数推定と双対ギャップの境界設定が可能となり、経験的リスクの平滑化が AGM の性能を向上させ、効率的な勾配計算と収束保証を伴って最先端のソルバーよりも優れた性能を発揮することを示している。

ABSTRACT

Nesterov's accelerated gradient methods (AGM) have been successfully applied in many machine learning areas. However, their empirical performance on training max-margin models has been inferior to existing specialized solvers. In this paper, we first extend AGM to strongly convex and composite objective functions with Bregman style prox-functions. Our unifying framework covers both the $\infty$-memory and 1-memory styles of AGM, tunes the Lipschiz constant adaptively, and bounds the duality gap. Then we demonstrate various ways to apply this framework of methods to a wide range of machine learning problems. Emphasis will be given on their rate of convergence and how to efficiently compute the gradient and optimize the models. The experimental results show that with our extensions AGM outperforms state-of-the-art solvers on max-margin models.

研究の動機と目的

• 強い理論的収束レートにもかかわらず、max-margin モデルにおける標準的 Nesterov の加速勾配法（AGM）の経験的性能の低さを解決すること。
• Bregman スタイルのprox関数を用いて、強い凸性および合成目的関数への AGM の拡張を統合的フレームワークとして開発すること。
• 最適化プロセス中に、Lipschitz 定数の適応的推定とタイトな双対ギャップの境界設定を可能にすること。
• 経験的リスクの平滑化が、max-margin 問題における AGM の収束速度と実用的性能を向上させることを示すこと。
• 強い凸性のもとで、効率的な勾配計算と線形収束を維持しながら、幅広い機械学習問題に一般化可能なフレームワークを示すこと。

提案手法

• 非滑らかな経験的リスク $ R_{\text{emp}}(\boldsymbol{w}) $ に対する平滑化技術を導入し、勾配ベース最適化が可能な滑らかな近似 $ \tilde{R}_{\text{emp}}(\boldsymbol{w}) $ に変換する。
• 正則化リスク最小化問題を合成目的関数 $ J(\boldsymbol{w}) = \frac{1}{2}\norm{\boldsymbol{w}}_2^2 + \tilde{R}_{\text{emp}}(\boldsymbol{w}) $ として定式化し、滑らかさのおかげで $ \theta $-精度のもとで $ O(1/\theta) $ の収束が達成可能であることを示す。
• Bregman 散発に基づくproximal 関数を AGM に統合し、$ L_1 $-ノルムやエラスティックネットなどの非滑らか正則化子を扱える合成最適化を可能にする。
• 滑らかにした双対関数 $ g_\nu^\bullet(A\boldsymbol{w}) $ のヘッセ行列に基づく解析を導出し、その Lipschitz 定数が重み付き和 $ \boldsymbol{a}_i \boldsymbol{a}_i^\top $ の最大固有値に依存することを示し、最適な $ b_i $ 選択によってこれを最小化できることを示す。
• パワー反復法を用いて $ \boldsymbol{A}^\top \boldsymbol{A} $ の主要固有ベクトルを効率的に計算し、Lipschitz 定数を最小化するための滑らかさパラメータ $ b_i $ の最適選択を支援する。
• 滑らかさパラメータを段階的に小さくするホモトピー法（冷却法）を適用し、最適解において多くの双対変数 $ \boldsymbol{\nu}_i $ がゼロであることに着目して、近似の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Bregman 散発に基づくprox関数を用いて、合成的かつ強い凸性を持つリスク最小化問題にネステロフの加速勾配法を効果的に拡張できるか？
• RQ2 max-margin モデルにおける経験的リスクの平滑化が、直接的な双対または原双対定式化と比較して、AGM の実用的性能を向上させるか？
• RQ3 非滑らかかつ合成的目的関数に対して、AGM フレームワーク内で Lipschitz 定数の適応的推定と双対ギャップの境界設定を達成できるか？
• RQ4 滑らかさパラメータの選択が、滑らかにした目的関数の収束速度と Lipschitz 定数にどのように影響するか？
• RQ5 提案フレームワークが、SVM などの max-margin モデルの学習において、専用ソルバーよりも優れた性能を発揮できるか、かつ理論的収束保証を維持できるか？

主な発見

• 経験的リスク $ R_{\text{emp}}(\boldsymbol{w}) $ の平滑化により、滑らかで制約のない最適化問題が得られ、$ \theta $-精度のもとで $ O(1/\theta) $ の収束が達成可能となり、max-margin モデルにおける AGM の実用的性能が著しく向上する。
• 提案フレームワークは、正則化子 $ \frac{1}{2}\norm{\boldsymbol{w}}_2^2 $ が強い凸性を満たす場合に線形収束を達成する。これは、実用的な高速収束にとって極めて重要である。
• 滑らかにした双対関数の Lipschitz 定数は、$ b_i^2 = |\boldsymbol{a}_i^\top \boldsymbol{v}^*| $ と選択することで最小化可能であり、これにより収束速度が向上する。ここで $ \boldsymbol{v}^* $ は $ \boldsymbol{A}^\top \boldsymbol{A} $ の主要固有ベクトルである。
• ホモトピー法（滑らかさパラメータの冷却）により、最適解で多くの双対変数 $ \boldsymbol{\nu}_i $ がゼロであることに着目して、近似がタイトになるため、アルゴリズムは高速に高品質な解に収束する。
• 経験的結果から、改善された AGM フレームワークが、AGM がかつてこの分野で性能が低かったにもかかわらず、最先端の専用ソルバーよりも優れた性能を発揮することが示された。
• $ L_1 $-ノルム、$ L_{1,\text{infty}} $、およびエラスティックネット正則化子に対しても、合成最適化技術を活用することでフレームワークが一般化可能であり、正則化子が微分不能であっても $ O(1/\theta) $ の収束を維持する。