[論文レビュー] Semi-Smooth Newton Algorithm for Non-Convex Penalized Linear Regression

Yueyong Shi, Jian Huang+2 more|arXiv (Cornell University)|Feb 24, 2018

Sparse and Compressive Sensing Techniques参考文献 56被引用数 3

ひとこと要約

本稿では、非凸的かつ非滑らかなSCADおよびMCP正則化線形回帰問題を解くための半滑らかニュートン（SSN）アルゴリズムを提案する。グローバル最小解をKKT条件から導かれる非滑らか方程式の根に再定式化することで、1回の反復あたりO(np)の計算コストを実現し、局所的超線形収束を達成する。この方法は、座標降下法やDCプロキシマルニュートン法よりも高速でありながら、高い精度を維持する。

ABSTRACT

Both the smoothly clipped absolute deviation (SCAD) and the minimax concave penalty (MCP) penalized linear regression models are capable of dealing with variable selection and parameter estimation simultaneously. Theoretically, these two models enjoy the oracle property even in the high dimensional settings where the number of predictors $p$ may be much larger than the number of observations $n$. However, numerically, it is quite challenging to develop fast and stable algorithms due to their non-convexity and non-smoothness. In this paper we develop a fast algorithm for SCAD and MCP penalized problems. First, we derive that the global minimizers of both models are roots of some nonsmooth equations. Then, Semi-smooth Newton (SSN) algorithm is employed to solve the equations. We prove the SSN algorithm converges locally and superlinearly to KKT points. Computational complexity analysis demonstrates that the cost of SSN algorithm per iteration is $O(np)$. Combining with the warmstarting technique SSN algorithm can be very efficient. Simulation studies and real data examples show that the SSN algorithm outperforms coordinate descent and DC proximal Newton algorithms in computational efficiency while reaching comparable accuracy.

研究の動機と目的

• SCADおよびMCPといった非凸的かつ非滑らかな正則化回帰問題を解く際の計算的課題に対処すること。
• SCADおよびMCP正則化線形回帰のグローバル最小解を効率的に計算できる、高速で安定したアルゴリズムの開発。
• KKT条件の非滑らか方程式への再定式化を活用した効率的な最適化。
• 座標降下法やDCプロキシマルニュートン法といった既存手法と比較して、優れた計算パフォーマンスを達成すること。

提案手法

• SCADおよびMCP正則化回帰のグローバル最小解を、KKT条件から導かれる非滑らか方程式の根に再定式化する。
• 得られた非滑らか方程式を解くために、半滑らかニュートン（SSN）アルゴリズムを適用する。
• 適切な条件下で、SSNアルゴリズムがKKT点へ局所的超線形収束することを証明する。
• 計算複雑度を分析し、1回の反復あたりO(np)のコストであることを示し、高次元データに対してスケーラブルであることを確認する。
• 複数のパrameter値に対して効率をさらに高めるために、ウォームスタート技術を統合する。
• シミュレーテッドおよび実データセットを用いて、SSNアルゴリズムを座標降下法およびDCプロキシマルニュートン法と比較して実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 SCADおよびMCP正則化回帰の非滑らか方程式への再定式化は、より高速で安定した最適化を実現できるか？
• RQ2 半滑らかニュートンアルゴリズムは、非凸的かつ非滑らかな正則化回帰問題において超線形収束を達成できるか？
• RQ3 高次元設定において、SSNアルゴリズムの計算効率は座標降下法やDCプロキシマルニュートン法と比べてどのように異なるか？
• RQ4 実際の応用において、ウォームスタートはSSNアルゴリズムの性能をどの程度向上させるか？

主な発見

• SSNアルゴリズムはKKT点へ局所的かつ超線形に収束し、最適解の近傍で高速な収束を実現する。
• 1回の反復あたりの計算コストはO(np)であり、pが大きい高次元問題に対しても効率的である。
• シミュレーション研究では、SSNアルゴリズムは座標降下法やDCプロキシマルニュートン法よりも顕著に高速でありながら、同等の解の精度を達成する。
• 実データ例から、実応用における回帰設定において、SSNアルゴリズムの優れた計算効率が確認された。