[論文レビュー] Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection

Hongbo Dong, Kun Chen+1 more|arXiv (Cornell University)|Oct 20, 2015

Sparse and Compressive Sensing Techniques参考文献 46被引用数 24

ひとこと要約

本稿は、スパース変数選択を混合整数二次計画法（MIQP）として扱う円錐最適化フレームワークを提案し、MCP や逆Huberのような一般的な非凸ペナルティ関数が、パースペクティブリラクゼーションの特殊ケースであることを示している。最もタイトなリラクゼーションは、凸性と ℓ₀-ノルム近似のバランスを取る半正定値計画（SDP）となり、Goemans-Williamsonの丸め処理により効果的な近似解が得られ、既存の凸リラクゼーションよりもタイトさと解の品質に優れている。

ABSTRACT

Variable selection is a fundamental task in statistical data analysis. Sparsity-inducing regularization methods are a popular class of methods that simultaneously perform variable selection and model estimation. The central problem is a quadratic optimization problem with an l0-norm penalty. Exactly enforcing the l0-norm penalty is computationally intractable for larger scale problems, so dif- ferent sparsity-inducing penalty functions that approximate the l0-norm have been introduced. In this paper, we show that viewing the problem from a convex relaxation perspective offers new insights. In particular, we show that a popular sparsity-inducing concave penalty function known as the Minimax Concave Penalty (MCP), and the reverse Huber penalty derived in a recent work by Pilanci, Wainwright and Ghaoui, can both be derived as special cases of a lifted convex relaxation called the perspective relaxation. The optimal perspective relaxation is a related minimax problem that balances the overall convexity and tightness of approximation to the l0 norm. We show it can be solved by a semidefinite relaxation. Moreover, a probabilistic interpretation of the semidefinite relaxation reveals connections with the boolean quadric polytope in combinatorial optimization. Finally by reformulating the l0-norm pe- nalized problem as a two-level problem, with the inner level being a Max-Cut problem, our proposed semidefinite relaxation can be realized by replacing the inner level problem with its semidefinite relaxation studied by Goemans and Williamson. This interpretation suggests using the Goemans-Williamson rounding procedure to find approximate solutions to the l0-norm penalized problem. Numerical experiments demonstrate the tightness of our proposed semidefinite relaxation, and the effectiveness of finding approximate solutions by Goemans-Williamson rounding.

研究の動機と目的

• 線形回帰におけるスパース変数選択を、ℓ₀-ノルムペナルティを伴う混合整数二次計画法（MIQP）として再定式化すること。
• スパーシティ誘導ペナルティ関数（例：MCP、逆Huber）と凸リラクゼーション、特にパースペクティブリラクゼーションとの関係を分析すること。
• MIQP定式化に対するタイトな半正定値リラクゼーションを構築し、凸性と ℓ₀-ノルムへの近似の最適なバランスを実現すること。
• 提案されたリラクゼーションと、ブール二次多面体のような組合せ最適化構造との関係を確立すること。
• スパース回帰問題のMax-Cut再定式化の半正定値リラクゼーションに、Goemans-Williamsonの丸め処理を適用する実用的な解法戦略を提案すること。

提案手法

• 変数選択を離散最適化問題として扱うことで、ℓ₀-ペナルティ付き回帰問題を混合整数二次計画法（MIQP）として定式化する。
• パースペクティブリラクゼーションをMIQPの凸リラクゼーションとして導入し、MCPおよび逆Huberペナルティがその特殊ケースとして現れることを示す。
• タイトさと ℓ₀-ノルムへの近さのバランスを最適化するミニマックス問題として、最適パースペクティブリラクゼーションを導出する。この問題は半正定値計画（SDP）として解ける。
• スパース回帰問題を二段階最適化として再定式化し、内側の段階がMax-Cut問題に対応することを示す。
• 内側のMax-Cut問題を、GoemansとWilliamsonが提唱した半正定値リラクゼーションに置き換えることで、実行可能な外側リラクゼーションを得る。
• SDPの解に対してGoemans-Williamsonの丸め処理を適用し、元の ℓ₀-ペナルティ付き問題の近似解を生成する。

実験結果

リサーチクエスチョン

• RQ1 広く用いられている非凸ペナルティ関数（MCP や逆Huber）は、統一された凸リラクゼーションフレームワークの特殊ケースとして解釈可能か？
• RQ2 ℓ₀-ペナルティ付き回帰問題に対する、最もタイトな凸リラクゼーションは何か？ そして、それはミニマックス問題としてどのように定式化できるか？
• RQ3 提案された半正定値リラクゼーションは、逆Huberペナルティに基づく既存の凸リラクゼーションと比較して、タイトさに優れているか？
• RQ4 Goemans-Williamsonの丸め処理は、半正定値リラクゼーションを介したスパース回帰問題の近似解に効果的に適用可能か？
• RQ5 本稿で提案するSDPリラクゼーションの計算スケーラビリティはどの程度か？予測変数の数 p に対してどのようにスケーリングされるか？

主な発見

• 数値実験により、提案された半正定値リラクゼーションは、逆Huberペナルティに基づく凸リラクゼーションよりも著しくタイトであることが示された。
• Goemans-Williamsonの丸め処理により、最良の既知の上限（τ_UB）に対して平均で0.34%以内の上界が得られ、λ や μ の値が高くなると相対差が0.00%にまで低下した。
• p = 800 の場合、DSDPを用いたSDPの平均計算時間は約279秒であり、大規模問題に対してはスケーラビリティの課題があることが示された。
• 半正定値リラクゼーションは、スケーリングされた多次元ベルヌーイ変数上のモーメントマッチング問題として確率論的に解釈可能であり、組合せ最適化におけるブール二次多面体と関連づけられる。
• ミニマックスの観点から、凸性と ℓ₀-ノルムへの近似品質のバランスを実現しており、ヒューリスティックなペナルティ関数とは対照的に、原理的かつ整合性のある代替手段を提供する。
• Goemans-Williamsonの丸め処理は一貫して高品質な解を生成し、テストされたインスタンスにおいてGurobiで60秒以上経過しても改善が得られなかったため、効果的なヒューリスティックであることが示された。