[論文レビュー] A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems

Peipei Tang, Chengjing Wang+2 more|arXiv (Cornell University)|Mar 27, 2019

Sparse and Compressive Sensing Techniques参考文献 42被引用数 7

ひとこと要約

本稿では、高次元非凸平方根損失回帰問題を解くために、スパースな半スムーズニュートンに基づくプロキシマルマジョライゼーション・ミニマライゼーション（PMM）アルゴリズムを提案する。Kurdyka-Łojasiewicz性質と、部分問題に特化した半スムーズニュートン法を活用することで、アルゴリズムはd-停留点に収束し、数値実験において、ノイズ分散の事前知識が不要な状況でも大規模なスパース回帰タスクで優れた性能を示す。

ABSTRACT

In this paper, we consider high-dimensional nonconvex square-root-loss regression problems and introduce a proximal majorization-minimization (PMM) algorithm for these problems. Our key idea for making the proposed PMM to be efficient is to develop a sparse semismooth Newton method to solve the corresponding subproblems. By using the Kurdyka-Łojasiewicz property exhibited in the underlining problems, we prove that the PMM algorithm converges to a d-stationary point. We also analyze the oracle property of the initial subproblem used in our algorithm. Extensive numerical experiments are presented to demonstrate the high efficiency of the proposed PMM algorithm.

研究の動機と目的

• 従来の凸法（Lasso や平方根Lasso）がノイズ分散が不明な場合に失敗する高次元非凸平方根損失回帰問題を解くという課題に対処すること。
• ノイズレベルの事前推定を回避しながらも、高次元設定におけるロバストネスとスパarsityを維持できる効率的な1次元法を開発すること。
• ADMMなどの既存手法が大規模非凸平方根問題に対して計算的に非効率であるのを克服するため、特化した部分問題ソルバを導入すること。
• Kurdyka-Łojasiewicz性質を用いて、d-停留点へのグローバル収束を確立するとともに、初期部分問題のオラクル性を証明すること。

提案手法

• アルゴリズムは、非凸平方根損失関数を一連の凸なサロゲート関数に逐次近似するプロキシマルマジョライゼーション・ミニマライゼーション（PMM）フレームワークを採用する。
• PMMスキーム内の各部分問題は、平方根損失の区分的滑らかさと解のスパarsityを活用するスパースな半スムーズニュートン法で解かれる。
• 非凸正則化子のd.c.（凸関数の差）表現を活用することで、効率的なマジョライゼーションと部分問題の解法が可能になる。
• 各反復で目的関数の十分な減少を保証するため、ラインサーチ戦略が組み込まれ、収束の安定性が向上する。
• 設計行列と解パスの両方のスパarsityを活用することで、大規模問題を効率的に処理できるように設計されている。
• Kurdyka-Łojasiewicz性質に基づく仮定のもとで、d-停留点への収束が証明されており、これは元の非凸最適化問題に成立する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ分散が不明な非凸平方根損失回帰問題に対して、プロキシマルマジョライゼーション・ミニマライゼーションフレームワークを効果的に適応できるか？
• RQ2 スパースな半スムーズニュートン法をどのように設計し、PMMフレームワークに統合して、得られる部分問題を効率的に解けるか？
• RQ3 Kurdyka-Łojasiewicz性質といった標準的仮定のもとで、提案手法が意味のある停留点（d-停留点）に収束するか？
• RQ4 初期部分問題のオラクル性とは何か？そして、高次元設定における最終解の品質にどのように影響を与えるか？
• RQ5 ADMM や APG といった既存手法と比較して、提案手法は大規模非凸平方根回帰問題において、効率性と精度の両面で優れているか？

主な発見

• 提案されたPMMアルゴリズムは、Kurdyka-Łojasiewicz性質のもとでd-停留点に収束し、非凸設定でも臨界解への収束を保証する。
• アルゴリズムは高い計算効率を達成しており、大規模非凸平方根回帰問題を解く際、ADMMを上回る性能を示す。
• アルゴリズムで用いられる初期部分問題はオラクル性を有しており、適切な条件下で真のスパース解のサポートを正しく同定できる。
• 数値実験では、ノイズに強く、ノイズ分散が不明または不正確に推定されていても良好な性能を発揮することが示された。
• PMMフレームワークにスパースな半スムーズニュートン法を統合することで、特に高次元領域において、1次元法と比較して収束が著しく高速化された。
• この手法は解パスにおける強いスパarsityを維持し、推定精度と変数選択の観点でほぼオラクル性能に近い結果を達成した。