[論文レビュー] Dynamic Sasvi: Strong Safe Screening for Norm-Regularized Least Squares

Hiroaki Yamada, Makoto Yamada|arXiv (Cornell University)|Feb 8, 2021

Sparse and Compressive Sensing Techniques参考文献 26被引用数 5

ひとこと要約

本稿では、Fenchel-Rockafellar双対性を活用して、より強く問題に適応した特徴量削除を可能にする、ノルム正則化最小二乗問題向けの新規な動的セーフスクリーニング規則であるDynamic Sasviを提案する。より正則化が強い問題の正確な解を必要としない点が特徴であり、既存のGap Safe手法よりも初期段階でより多くの特徴量を削除し、理論的・実践的にもソルバーの高速化を顕著に実現する。

ABSTRACT

A recently introduced technique for a sparse optimization problem called "safe screening" allows us to identify irrelevant variables in the early stage of optimization. In this paper, we first propose a flexible framework for safe screening based on the Fenchel-Rockafellar duality and then derive a strong safe screening rule for norm-regularized least squares by the framework. We call the proposed screening rule for norm-regularized least squares "dynamic Sasvi" because it can be interpreted as a generalization of Sasvi. Unlike the original Sasvi, it does not require the exact solution of a more strongly regularized problem; hence, it works safely in practice. We show that our screening rule can eliminate more features and increase the speed of the solver in comparison with other screening rules both theoretically and experimentally.

研究の動機と目的

• Fenchel-Rockafellar双対性に基づく一般化可能なセーフスクリーニングフレームワークの構築を目的とする。
• 補助問題の正確な解を必要とせず、実用的に安全に動作する動的スクリーニング規則「Dynamic Sasvi」を、逐次Sasvi手法の一般化として導出することを目的とする。
• 既存の動的スクリーニング手法（例：Gap Safe Sphere や Gap Safe Dome）と比較して、スクリーニング能力と計算効率を向上させることを目的とする。
• 計算コストを低減しつつ、スクリーニング性能はほぼ同等を達成する、Dynamic Sasviの緩和版であるDynamic EDPPを提案することを目的とする。

提案手法

• フレームワークはFenchel-Rockafellar双対性に基づくものであり、凸最適化問題に対するセーフスクリーニング領域の一般化導出を可能にする。
• Dynamic Sasviは、変分不等式と問題に適応する不等式を用いて定義される双対妥当領域に基づき、Sasvi規則の動的バージョンとして導出される。
• 反復的最適化の過程で、双対解が「プライマル変数がゼロであることを保証する領域の外側にあるかどうか」をチェックすることで、特徴量を動的にスクリーニングする。
• Dynamic EDPPは、正確なスクリーニング領域を最小半径球に置き換えることで、Dynamic Sasviの緩和版として導入され、計算コストの低減が図られる。
• スクリーニング規則は座標降下法の反復的プロセス中に繰り返し適用され、双対ギャップと射影に基づく基準に従って特徴量の削除が行われる。
• 理論的保証により、スクリーニングされたすべての特徴量が最終解で実際にゼロであることが保証され、最適性が保持される。

実験結果

リサーチクエスチョン

• RQ1 Fenchel-Rockafellar双対性に基づく一般枠組みを開発し、既存のセーフスクリーニング技術を統一・拡張することは可能か？
• RQ2 ノルム正則化最小二乗問題に対して、Gap Safe Sphere や Gap Safe Dome よりも強い動的スクリーニング規則を設計することは可能か？
• RQ3 提案されたDynamic Sasvi規則は、最先端の動的スクリーニング手法と比較して、より多くの特徴量を削除し、ソルバーの高速化をより顕著に実現できるか？
• RQ4 緩和版であるDynamic EDPPは、正確なDynamic Sasviと比較して、スクリーニング能力と計算コストの両面でどう異なるか？

主な発見

• 理論的分析および実データセット上での実験評価において、Dynamic SasviはGap Safe Sphere や Gap Safe Dome よりも多くの特徴量を削除した。
• Leukemiaデータセットでは、λ = 10^8 において、Dynamic Sasviが対数的加速比 -0.987 ± 0.057 を達成し、Gap Safe Sphere の -0.907 ± 0.066 より顕著に優れた性能を示した。
• 20newsgroupデータセットでは、λ = 10^8 において、Dynamic Sasviが対数的加速比 -0.604 ± 0.023 を達成し、再びGap Safe Sphereの -0.572 ± 0.024 を上回った。
• Dynamic EDPPはDynamic Sasviとほぼ同等のスクリーニング性能を達成したが、計算コストは低く抑えられ、実用的な代替手段となった。
• Leukemiaおよび20newsgroupデータセットの両方において、Lassoパス計算の平均計算時間は、Dynamic SasviおよびDynamic EDPPを用いることで、Gap Safe手法と比較して顕著に短縮された。
• 提案フレームワークは、Gap SafeおよびSasviの両方を一般化し、既存手法の統一的導出を可能にするとともに、より強力で適応的なスクリーニング規則の導出を可能にした。