[論文レビュー] Rank-one Convexification for Sparse Regression

Alper Atamtürk, Andrés Gómez|arXiv (Cornell University)|Jan 29, 2019

Sparse and Compressive Sensing Techniques参考文献 54被引用数 21

ひとこと要約

本稿は、ℓ₀制約付きスパース回帰に対する、拡張空間におけるより強い半定値計画問題として定式化された、新規のランク1凸化手法を提案する。この手法は、ベンチマークデータセット上で数秒のうちに近似的最適解を達成し、解の品質および統計的性能において、最先端の凸緩和法を上回り、最適性ギャップは0.4%未満であり、スパarsity回復性能に優れる。

ABSTRACT

Sparse regression models are increasingly prevalent due to their ease of interpretability and superior out-of-sample performance. However, the exact model of sparse regression with an $\ell_0$ constraint restricting the support of the estimators is a challenging (\NP-hard) non-convex optimization problem. In this paper, we derive new strong convex relaxations for sparse regression. These relaxations are based on the ideal (convex-hull) formulations for rank-one quadratic terms with indicator variables. The new relaxations can be formulated as semidefinite optimization problems in an extended space and are stronger and more general than the state-of-the-art formulations, including the perspective reformulation and formulations with the reverse Huber penalty and the minimax concave penalty functions. Furthermore, the proposed rank-one strengthening can be interpreted as a extit{non-separable, non-convex, unbiased} sparsity-inducing regularizer, which dynamically adjusts its penalty according to the shape of the error function without inducing bias for the sparse solutions. In our computational experiments with benchmark datasets, the proposed conic formulations are solved within seconds and result in near-optimal solutions (with 0.4\% optimality gap) for non-convex $\ell_0$-problems. Moreover, the resulting estimators also outperform alternative convex approaches from a statistical perspective, achieving high prediction accuracy and good interpretability.

研究の動機と目的

• ℓ₀制約付きの正確なスパース回帰というNP困難な課題に取り組むこと。これは非凸的であり、最適に解くことが困難である。
• パーソネージフォームリカバリー、リバースハーバー、およびミニマックス凹罰則（MCP）形式といった既存の手法よりも強力な凸緩和を構築すること。
• 最良サブセット選択およびスパース回帰問題に対して、証明可能な最適または近似的最適な解を得ることで、スパarsityを保証し、バイアスを低減すること。
• 真のℓ₀解をよりよく近似する強力な凸緩和と不偏性を組み合わせることで、統計的性能を向上させること。
• 信号対ノイズ比（SNR）や相関構造の変動にわたる計算効率性およびロバストネスを示すこと。

提案手法

• インジケータ変数を伴うランク1二次項の理想（凸包）定式化を導出し、緩和の基盤を構築する。
• スパース回帰問題を拡張変数空間における半定値計画問題（SDP）として再定式化し、緩和の強度を向上させる。
• 誤差関数の形状に応じてペナルティを動的に調整する非分離的・非凸的・不偏のスパarsity誘導正則化項を導入する。
• 2段階のコネ型定式化（sdp₂）を採用し、ランク1凸化を統合することで、big-M法や標準MIOアプローチよりもタイトな境界を提供する。
• 強力なSDP緩和を用いた分枝限定法フレームワークを採用し、最適性または近似的最適性を効率的に証明する。
• 非分離正則化を用いて、標準スパース回帰およびファズド・ラッソや一般化ラッソを含む一般化された変種に対しても適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ランク1凸化は、既存の最先端の定式化よりも、ℓ₀スパース回帰に対するより強い凸緩和を生み出せるか？
• RQ2 提案されたコネ型定式化は、実用的な計算時間内で最良サブセット選択問題に対して近似的最適解を達成できるか？
• RQ3 高SNR設定では真のスパarsityパターンを回復できるが、低SNR環境では過学習を回避できるか？
• RQ4 予測精度およびスパarsityの観点から、本手法はリッジ回帰とラッソと比較してどの程度優れているか？
• RQ5 非分離的・非凸的正則化項は、ラッソやMCP型ペナルティと比較して、どの程度バイアスを低減するか？

主な発見

• sdp₂定式化は、n=500、p=100、k=5のベンチマークインスタンスにおいて、最適性ギャップが最大0.3%に抑えられ、ρ=0.00のとき97%の解が証明可能な最適解である。
• ρ=0.35のとき、68%の解が証明可能な最適解であり、類似の時間制限下で最適性を達成するMIOソルバーよりも顕著に優れている（35%）。
• 平均して約30秒で近似的最適解が計算され、異なるSNRレベルで25.9〜48.0秒の間で計算時間が変動する。
• sdp₂は高SNR設定では一貫して真のスパarsityパターン（k≈s）を回復するが、特にρ=0のとき、elastic netはその回復に失敗する。
• 低SNR環境（例：SNR=0.05）ではelastic netがsdp₂を上回るが、それ以上のSNRではsdp₂が顕著に優れた予測精度とスパarsityを達成する。
• ρ=0.00からρ=0.35にわたる相関構造の変動に対しても、本手法はロバストである。特に相関のない設定では、lassoとelastic netが過学習を示すのに対し、本手法は優れた性能を示す。