[論文レビュー] On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function

Xingguo Li, Haoming Jiang+5 more|arXiv (Cornell University)|May 25, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 4

ひとこと要約

この論文は、ノンスムーズな損失関数を持つにもかかわらず、SQRT-Lasso最適化において近接勾配法が急速に収束することを示しており、高確率で高速な局所収束を証明している。主な貢献は、ノンスムーズ性に起因する計算負荷が無視できるほど小さいことの解明であり、勾配降下法、ニュートン法、準ニュートン法といった近接法を、変更なしに直接適用可能であることを示している。パスワイズ最適化と組み合わせることで、他の手法を上回る性能を発揮する。

ABSTRACT

Many machine learning techniques sacrifice convenient computational structures to gain estimation robustness and modeling flexibility. However, by exploring the modeling structures, we find these "sacrifices" do not always require more computational efforts. To shed light on such a "free-lunch" phenomenon, we study the square-root-Lasso (SQRT-Lasso) type regression problem. Specifically, we show that the nonsmooth loss functions of SQRT-Lasso type regression ease tuning effort and gain adaptivity to inhomogeneous noise, but is not necessarily more challenging than Lasso in computation. We can directly apply proximal algorithms (e.g. proximal gradient descent, proximal Newton, and proximal Quasi-Newton algorithms) without worrying the nonsmoothness of the loss function. Theoretically, we prove that the proximal algorithms combined with the pathwise optimization scheme enjoy fast convergence guarantees with high probability. Numerical results are provided to support our theory.

研究の動機と目的

• 統計的学習におけるノンスムーズな損失関数が計算複雑性を増加させるという一般的な認識に対処すること。
• SQRT-Lassoのノンスムーズな損失関数が、効率的な最適化を妨げるかどうかを調査すること。
• 問題の背後にある構造のおかげで、ノンスムーズ性に対応する特別な処理が不要であるため、近接法をSQRT-Lassoに直接適用できることを示すこと。
• 近接法がSQRT-Lassoに対して高速な局所収束を示す理論的保証を確立すること。
• パスワイズ最適化と組み合わせた近接スキームが、他のアルゴリズムを著しく上回ることを実験的に示すこと。

提案手法

• 著者たちは、$ \frac{1}{\sqrt{n}}\|y - X\theta\|_2 + \lambda\|\theta\|_1 $ を最小化するSQRT-Lasso問題を分析している。この損失関数はノイズの不均一性に対してロバストであり、ノイズ分散の知識が不要である。
• 滑らか化や近似を施さずに、標準的な近接法（近接勾配降下法、近接ニュートン法、近接準ニュートン法）をノンスムーズな目的関数に直接適用している。
• 理論的分析では、制限された強い凸性（RSS）と部分勾配条件を用い、やや厳しい仮定のもとで高確率での局所線形収束を証明している。
• 収束を加速し、有限標本性能を向上させるために、近接法とパスワイズ最適化スキームを統合している。
• ヘッセ行列の平均値定理と一般化されたコーシー・シュワルツの不等式を用いて理論的バウンディングを導出し、収束速度がスパarsityと曲率特性に関連していることを示している。
• 分析により、ノンスムーズ性が収束を妨げないことが判明し、正則化パラメータ $ \lambda_{\text{SQRT}} \asymp \sqrt{\frac{\log d}{n}} $ はLassoに対してチューニングフリーであることが示された。

実験結果

リサーチクエスチョン

• RQ1 ノンスムーズな損失関数を持つにもかかわらず、近接法はSQRT-Lassoで高速な収束を達成できるか？
• RQ2 正則化パラメータ $ \lambda_{\text{SQRT}} $ がノイズ分散に依存しないことは、Lassoに比べて計算上の利点を示唆するか？
• RQ3 SQRT-Lassoの損失関数のノンスムーズ性は、計算上のボトルネックを引き起こすのか、それとも標準的な近接法が効率的に処理できるか？
• RQ4 パスワイズ最適化は、SQRT-Lassoにおける近接法の性能をどのように向上させるか？
• RQ5 高次元スパース性の下で、近接法がSQRT-Lassoに対して局所収束の理論的保証をどのように確立できるか？

主な発見

• 勾配降下法、ニュートン法、準ニュートン法を含む近接法は、ノンスムーズな損失関数があるにもかかわらず、高確率でSQRT-Lassoに対して高速な局所収束を達成する。
• 理論的収束速度は、制限された強い凸性（RSS）パラメータとスパarsityに支配され、$ \rho^{-}_{s^* + \widetilde{s}} $ と $ \rho^{+}_{\check{s}_1} $ が収束速度を制御する。
• 近接法と組み合わせたパスワイズ最適化スキームは、数値実験において他のアルゴリズムを著しく上回る性能を発揮する。
• ノンスムーズな損失関数は計算コストを増加させない。近接法は滑らか化や近似なしに直接適用可能である。
• 正則化パラメータ $ \lambda_{\text{SQRT}} \asymp \sqrt{\frac{\log d}{n}} $ はノイズ分散 $ \sigma $ に依存せず、広範なチューニングの必要がない。
• 理論的分析により、解における非ゼロ成分の数が $ \widetilde{s} $ で有界であることが確認され、スパarsityと安定性が保証される。