[論文レビュー] Fast OSCAR and OWL Regression via Safe Screening Rules

Runxue Bao, Bin Gu+1 more|arXiv (Cornell University)|Jun 29, 2020

Sparse and Compressive Sensing Techniques参考文献 32被引用数 8

ひとこと要約

本稿では、主成分解釈の順序と双対ギャップを活用して非活性変数を早期に特定・除外する反復的戦略を用いた、最初の安全なスクリーニングルールを、順序付き重み付きL1（OWL）回帰に対して提案する。この手法は、正確性を損なわず、最大40倍の計算高速化を達成し、バッチおよび確率的近接勾配法の両方と互換性がある。

ABSTRACT

Ordered Weighted $L_{1}$ (OWL) regularized regression is a new regression analysis for high-dimensional sparse learning. Proximal gradient methods are used as standard approaches to solve OWL regression. However, it is still a burning issue to solve OWL regression due to considerable computational cost and memory usage when the feature or sample size is large. In this paper, we propose the first safe screening rule for OWL regression by exploring the order of the primal solution with the unknown order structure via an iterative strategy, which overcomes the difficulties of tackling the non-separable regularizer. It effectively avoids the updates of the parameters whose coefficients must be zero during the learning process. More importantly, the proposed screening rule can be easily applied to standard and stochastic proximal gradient methods. Moreover, we prove that the algorithms with our screening rule are guaranteed to have identical results with the original algorithms. Experimental results on a variety of datasets show that our screening rule leads to a significant computational gain without any loss of accuracy, compared to existing competitive algorithms.

研究の動機と目的

• 非分割的なペナルティ構造のため、OWL回帰には安全なスクリーニングルールが存在しないという問題を解決する。
• OWLにおける各変数ごとの正則化ハイパーパrameterが固定でないという課題を克服する。これにより、標準的なスクリーニング手法が適用できない。
• スクリーニングルールが安全（関連する特徴を誤って除外するリスクなし）かつ最適化中の計算コストを効果的に削減できるように開発する。
• 大規模な学習への広範な適用性を確保するため、標準的および確率的近接勾配法と互換性を持つことを保証する。
• 最終的な解が元のアルゴリズムと同一のまま保たれ、モデルの正確性が損なわれないことを保証する。

提案手法

• 中間の双対ギャップに基づく新しい安全なスクリーニングルールを提案し、その係数がゼロであることが保証される変数を特定する。
• 主成分解の順序構造を活用する反復的戦略を用い、非分割性にもかかわらず効果的なスクリーニングを可能にする。
• スクリーニングルールをバッチおよび確率的近接勾配降下法（APGDおよびSPGD）の両方のアルゴリズムに統合する。
• 最適化中に双対ギャップを動的に更新することで、スクリーニングのしきい値を安全かつきついものに保つ。
• 非活性特徴の早期かつ積極的な除外を可能にする、スクリーニング条件のタイトな上界を導出する。
• スクリーニング済みのアルゴリズムと元のアルゴリズムとの理論的同等性を証明し、解の品質に損なわれないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 非分割的なペナルティ構造と固定されていないハイパーパrameterを有するOWL回帰に対し、安全なスクリーニングルールを開発できるか？
• RQ2 主成分解の順序構造をどのように活用すれば、OWL回帰のための効果的なスクリーニングルールを導出できるか？
• RQ3 バッチおよび確率的設定の両方において、スクリーニングが計算コストをどの程度削減できるか？
• RQ4 提案されたスクリーニングルールは、元のアルゴリズムと同一の解および予測正確性を維持するか？
• RQ5 スクリーニングレートおよび非活性変数の早期除外の観点から、スクリーニングルールはどの程度有効か？

主な発見

• 提案されたスクリーニングルールは、大規模なデータセット上での元のAPGDおよびSPGDアルゴリズムに対して最大40倍の計算高速化を達成する。
• 確率的設定では、n ≪ d の場合に5〜22倍、n ≈ d または n ≫ d の場合に最大40倍のトレーニング高速化が達成される。
• 非活性変数のスクリーニングレートはほぼ100％に達し、大部分が初期イテレーションで同定・削除される。
• スクリーニング済みのアルゴリズムの予測誤差は、元のアルゴリズムと同一であり、ルールの安全かつ正確性が確認される。
• スパースで大規模なデータセットでも有効であり、特にスパースな設定でより高い利得が得られる。
• スクリーニングルールはバッチおよび確率的近接勾配法の両方と互換性があり、実用的利便性が向上する。