[論文レビュー] Hybrid safe-strong rules for efficient optimization in lasso-type problems

Yaohui Zeng, Tianbao Yang+1 more|arXiv (Cornell University)|Apr 27, 2017

Machine Learning and Algorithms参考文献 27被引用数 4

ひとこと要約

本稿では、安全スクリーニングルールの信頼性と逐次的強いルール（SSR）の効率性を組み合わせたハイブリッド安全・強いルール（HSSR）を提案する。SSRフレームワーク内に安全ルールを統合することで、収束後のKKTチェックの回数を著しく削減し、相関性が高く次元が大きなデータに対して、最先端の手法と比較して最大70%の高速化を達成した。

ABSTRACT

The lasso model has been widely used for model selection in data mining, machine learning, and high-dimensional statistical analysis. However, with the ultrahigh-dimensional, large-scale data sets now collected in many real-world applications, it is important to develop algorithms to solve the lasso that efficiently scale up to problems of this size. Discarding features from certain steps of the algorithm is a powerful technique for increasing efficiency and addressing the Big Data challenge. In this paper, we propose a family of hybrid safe-strong rules (HSSR) which incorporate safe screening rules into the sequential strong rule (SSR) to remove unnecessary computational burden. In particular, we present two instances of HSSR, namely SSR-Dome and SSR-BEDPP, for the standard lasso problem. We further extend SSR-BEDPP to the elastic net and group lasso problems to demonstrate the generalizability of the hybrid screening idea. Extensive numerical experiments with synthetic and real data sets are conducted for both the standard lasso and the group lasso problems. Results show that our proposed hybrid rules can substantially outperform existing state-of-the-art rules.

研究の動機と目的

• Big Data応用で一般的な超高次元lasso問題の解法における計算ボトル neck を解決すること。
• 既存のスクリーニングルールの限界を克服すること — 安全ルールは保守的であるが、強いルールは活性特徴を誤って除外するリスクを有する。
• 幾何的境界の安全性と強いルールの攻撃的特性を組み合わせたハイブリッドフレームワークを構築し、正しさを損なわずに計算効率を最大化すること。
• このハイブリッド手法の一般化可能性を、リッジ正則化付きlassoやグループlasso問題へと示すこと。
• SSRフレームワーク内での安全ルールによる事前特徴除外を通じて、最適化後の不要なKKTチェックを最小限に抑えること。

提案手法

• 安全ルールを用いて特徴を事前にフィルタリングし、その後に逐次的強いルール（SSR）を適用するハイブリッドスクリーニングフレームワークHSSRを提案。これにより、KKT検証を要する特徴数を削減する。
• HSSRの2つの具体的な実装例として、SSR-DomeとSSR-BEDPPを導入。これらはDomeテストおよびEDPP安全ルールをSSRフレームワークに統合したものである。
• lassoの双対定式化を活用し、双対解のコンパクトな領域を定義。これにより、KKT条件 $|\mathbf{x}_j^T\boldsymbol{\theta}(\lambda)| < \lambda \Rightarrow \widehat{\beta}_j = 0$ を用いて安全に特徴を除外可能となる。
• SSRにおける単位勾配仮定を活用し、活性である可能性が低い特徴の更新をスキップする強いルールを導出。その後、正しさを確認するための後続チェックを実施。
• SSR-BEDPPをリッジ正則化付きのelastic netおよびグループlasso問題へ拡張。グループ化された構造およびリッジ正則化を考慮した安全領域と双対境界を適応的に変更する。
• ハイブリッドルールを二段階のプロセスとして定式化：(1) 安全スクリーニングにより、ゼロであることが保証される特徴を削除、(2) SSRにより、ゼロである確率が非常に高い特徴をさらに削除し、KKTチェックの回数を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 安全ルールと強いルールを組み合わせることで、解の正しさを損なわずにlasso問題の計算時間を著しく短縮できるか？
• RQ2 特徴間の相関が、単独の安全ルールや強いルールと比較して、ハイブリッドスクリーニングルールの性能に与える影響はいかほどか？
• RQ3 このハイブリッドフレームワークは、elastic net やグループlassoといった他のlasso型問題へどの程度一般化可能か？
• RQ4 特に高い相関性下において、スクリーニングの攻撃的特性と信頼性のトレードオフはどのようなものか？
• RQ5 ハイブリッド手法により、最適化後のKKTチェック回数を著しく削減でき、収束を著しく加速できるか？

主な発見

• 合成データ（低〜中程度の相関）において、提案されたSSR-BEDPPルールは、標準的なSSRと比較して平均して53%、SEDPPと比較して44%の計算時間短縮を達成した。
• 対間相関係数が0.5までのデータでは、ハイブリッドルール（SSR-DomeおよびSSR-BEDPP）は、単独の安全ルールまたは強いルールと比較して30〜70%高速であった。
• 高相関設定（ρ = 0.8）では、強いルールも機能しなくなり、ハイブリッドルールに対しても同様に性能の上限が現れた。
• 実世界のデータでは、ハイブリッドルールが優れた実用的性能を示し、現実的な相関構造下でも有効性が確認された。
• 低相関領域では、KKTチェック回数が90%以上削減され、最終的な収束ステップの高速化が顕著に実現した。
• SSR-BEDPPは、すべての手法の中で最速の実行時間を達成し、無相関設計下で100個のλ値に対して平均3.22秒（標準誤差0.05）を記録。基本的なPCD（10.92秒）およびAC（6.15秒）を上回った。