[論文レビュー] GEP-MSCRA for computing the group zero-norm regularized least squares estimator

Shujun Bi, Shaohua Pan|arXiv (Cornell University)|Apr 26, 2018

Sparse and Compressive Sensing Techniques参考文献 7被引用数 3

ひとこと要約

本稿では、MPECのグローバル正確ペナルティ定式化を用いて、グループゼロノルム正則化最小二乗推定量を計算するためのマルチステージ凸緩和アルゴリズム、GEP-MSCRAを提案する。制限強凸性の下で理論的保証を確立し、合成および実世界のマルチタスク学習データにおいて、SLEP や MALSAR と比較して予測誤差の低減とグループスパarsity の両面で優れた性能を示す。

ABSTRACT

This paper concerns with the group zero-norm regularized least squares estimator which, in terms of the variational characterization of the zero-norm, can be obtained from a mathematical program with equilibrium constraints (MPEC). By developing the global exact penalty for the MPEC, this estimator is shown to arise from an exact penalization problem that not only has a favorable bilinear structure but also implies a recipe to deliver equivalent DC estimators such as the SCAD and MCP estimators. We propose a multi-stage convex relaxation approach (GEP-MSCRA) for computing this estimator, and under a restricted strong convexity assumption on the design matrix, establish its theoretical guarantees which include the decreasing of the error bounds for the iterates to the true coefficient vector and the coincidence of the iterates after finite steps with the oracle estimator. Finally, we implement the GEP-MSCRA with the subproblems solved by a semismooth Newton augmented Lagrangian method (ALM) and compare its performance with that of SLEP and MALSAR, the solvers for the weighted $\ell_{2,1}$-norm regularized estimator, on synthetic group sparse regression problems and real multi-task learning problems. Numerical comparison indicates that the GEP-MSCRA has significant advantage in reducing error and achieving better sparsity than the SLEP and the MALSAR do.

研究の動機と目的

• 非凸的なゼロノルムによる組み合わせ的困難さのため、計算的に実行可能なグループゼロノルム正則化最小二乗推定量のための手法を開発すること。
• ゼロノルムの変分的特徴付けから生じるMPECのグローバル正確ペナルティ定式化を確立し、有利な双線形構造を持つ正確ペナルティを可能にする。
• SCAD や MCP と同等のDC推定量を提供する理論的収束保証を持つマルチステージ凸緩和アプローチ（GEP-MSCRA）を提案すること。
• 合成および実世界のマルチタスク学習問題において、GEP-MSCRA が SLEP や MALSAR と比較して予測精度とグループスパarsity の両面で優れた性能を示すことを経験的に検証すること。

提案手法

• ゼロノルムの変分的特徴付けを用いて、グループゼロノルム正則化最小二乗推定量を等式制約付き数学計画問題（MPEC）として再定式化する。
• MPEC に対してグローバル正確ペナルティを構築し、非凸問題を有利な双線形構造を持つ単一の非凸計画問題に変換する。
• 正確ペナルティ定式化から導かれる凸部分問題を繰り返し解くマルチステージ凸緩和アルゴリズム GEP-MSCRA を提案する。
• 各部分問題を、高い精度と高速収束性を実現するための半スムーズニュートン増大ラグランジュ法（ALM）で解く。
• 正確ペナルティ問題と SCAD や MCP といったDC推定量との関係を活用し、緩和によって同等の解を得ることを可能にする。
• 数値実験においてウォームスタート戦略を活用し、各 $λ$-問題を直前の $λ$-値からの解で初期化することで、計算効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グループゼロノルム正則化最小二乗推定量は、効率的な計算を可能にするグローバル正確ペナルティ問題として再定式化可能か？
• RQ2 提案された GEP-MSCRA アルゴリズムは、制限強凸性の下でオラクル推定量への理論的収束を達成するか？
• RQ3 合成および実世界のマルチタスク学習問題において、GEP-MSCRA は予測誤差とグループスパarsity の観点で SLEP や MALSAR と比較してどのように異なるか？
• RQ4 GEP-MSCRA の性能は初期値にどれほど依存するか？また、MALSAR のウォームスタート依存性と比較してどうか？
• RQ5 正確ペナルティ定式化は、SCAD と MCP 推定量の計算を統一的なフレームワーク内で実現できるか？

主な発見

• MALSAR がウォームスタートを使用しない場合、GEP-MSCRA は予測誤差を少なくとも 20% 減少させる。また、ウォームスタートを使用しても、MALSAR の性能を上回るか同等の性能を達成する。
• GEP-MSCRA の予測誤差は訓練サンプルサイズの増加に伴い減少するが、MALSAR の誤差は増加するか、改善しない傾向にあり、特に訓練データの 35% のみを使用する場合に顕著である。
• GEP-MSCRA は、テストされたすべての訓練サンプルサイズにおいて、5つ未満のアクティブなグループでグループスパarsity を達成するが、MALSAR は同様の条件下でグループスパース解を生成できない。
• GEP-MSCRA の解は初期値に対してロバストである。$x^0 = 0$ からの開始でも性能が劣化せず、MALSAR とは異なりウォームスタートに強く依存しない。
• 制限強凸性の下で、GEP-MSCRA の反復列は真の係数ベクトルに向けた誤差境界を減少させ、有限ステップでオラクル推定量と一致する。
• 正確ペナルティ定式化により、SCAD や MCP 推定量も同様のグローバル正確ペナルティフレームワークから生じることが明らかになり、統一的な計算的・理論的基盤を確立した。