[論文レビュー] Efficient Mixed-Norm Regularization: Algorithms and Safe Screening Methods

Jie Wang, Jun Liu+1 more|arXiv (Cornell University)|Jul 16, 2013

Sparse and Compressive Sensing Techniques参考文献 44被引用数 9

ひとこと要約

本稿では、任意の q ≥ 1 に対して ℓ₁/ℓ_q 正則化問題を効率的に解くための効率的アルゴリズム GLEP 1q と、新たな安全なスクリーニング手法 Smin を提案する。この手法は、効率的な ℓ₁/ℓ_q ユークリッド射影を二つのゼロ探索問題により解く加速勾配降下法を用い、Smin は双対感度解析を用いて非活性なグループを同定することで、大規模データ上での計算量を最大で3桁削減する。

ABSTRACT

Sparse learning has recently received increasing attention in many areas including machine learning, statistics, and applied mathematics. The mixed-norm regularization based on the l1q norm with q>1 is attractive in many applications of regression and classification in that it facilitates group sparsity in the model. The resulting optimization problem is, however, challenging to solve due to the inherent structure of the mixed-norm regularization. Existing work deals with special cases with q=1, 2, infinity, and they cannot be easily extended to the general case. In this paper, we propose an efficient algorithm based on the accelerated gradient method for solving the general l1q-regularized problem. One key building block of the proposed algorithm is the l1q-regularized Euclidean projection (EP_1q). Our theoretical analysis reveals the key properties of EP_1q and illustrates why EP_1q for the general q is significantly more challenging to solve than the special cases. Based on our theoretical analysis, we develop an efficient algorithm for EP_1q by solving two zero finding problems. To further improve the efficiency of solving large dimensional mixed-norm regularized problems, we propose a screening method which is able to quickly identify the inactive groups, i.e., groups that have 0 components in the solution. This may lead to substantial reduction in the number of groups to be entered to the optimization. An appealing feature of our screening method is that the data set needs to be scanned only once to run the screening. Compared to that of solving the mixed-norm regularized problems, the computational cost of our screening test is negligible. The key of the proposed screening method is an accurate sensitivity analysis of the dual optimal solution when the regularization parameter varies. Experimental results demonstrate the efficiency of the proposed algorithm.

研究の動機と目的

• q > 1 のすべての値に対して一般化可能で効率的な ℓ₁/ℓ_q 正則化最適化のための汎用的アルゴリズムの開発を目的とし、q=2 や ∞ の特殊ケースにとどまらない拡張を図ること。
• 一般 q に対して非滑らかで複雑な構造を示すため、非自明な問題となる ℓ₁/ℓ_q 正則化ユークリッド射影（EP 1q）を効率的に解く計算上の課題に対処すること。
• 最小限の計算コストで解のゼロ成分（非活性なグループ）を安全に同定できる、効率的かつ安全なスクリーニング手法の設計。
• 効率的なソルバと効果的なグループ除去を組み合わせることで、高次元データにおける ℓ₁/ℓ_q 問題のスケーラブルな最適化を可能にすること。

提案手法

• 双対感度解析を用いた効率的な部分問題解法を備えた、ℓ₁/ℓ_q 正則化問題向けの加速勾配法 GLEP 1q を提案する。
• ノルムの非滑らかで非分割可能な構造に対処するため、二つのゼロ探索問題を解くことで、新しい ℓ₁/ℓ_q ユークリッド射影（EP 1q）アルゴリズムを構築する。
• 一回のデータスキャンで非活性なグループを同定できる、安全なスクリーニング手法 Smin を導入する。
• 変化する正則化パラメータ下での双対最適解の領域ベース推定を用いて、正しさと効率性を保証する。
• このスクリーニング手法は、既存の任意のソルバと互換性があり、問題サイズを削減するための前処理ステップとして適用可能である。
• 理論的分析により、EP 1q が q=2 や ∞ の特殊ケースと比較して、閉形式解が存在しないため、一般 q でははるかに複雑であることが示された。

実験結果

リサーチクエスチョン

• RQ1 任意の q > 1 に対して、q=2 や ∞ の特殊ケースにとどまらない ℓ₁/ℓ_q 正則化ユークリッド射影（EP 1q）をどのように効率的に解けるか。
• RQ2 一般 q に対して EP 1q を解く際の計算的・理論的課題は何か、そしてどのように克服できるか。
• RQ3 最小限の計算オーバーヘッドで非活性なグループを安全かつ効率的に同定できるスクリーニング手法を設計できるか。
• RQ4 特に高次元設定下で、提案手法のスクリーニングが最適化中に処理されるグループ数をどれほど削減できるか。
• RQ5 GLEP 1q と Smin スクリーニング手法を組み合わせた場合、大規模データセットにおけるスケーラビリティとパフォーマンス向上はどの程度か。

主な発見

• 提案された GLEP 1q アルゴリズムは、二つのゼロ探索問題を用いて ℓ₁/ℓ_q ユークリッド射影を効率的に解くことで、q > 1 のすべての値に一般化可能である。
• Smin スクリーニングは処理対象のグループ数を最大で3桁削減し、200,000特徴のデータセットでは計算量を6000倍以上削減した。
• q=2 の1000×10000データ行列において、n_g=400 の場合に GLEP 1q の効率が50倍向上し、他の状況では100倍向上した。
• スクリーニング手法はデータを一回スキャンするだけでよく、主な最適化問題を解く計算量に比べて無視できるほど小さい。
• DPP やストロングルールと比較して、すべてのテスト次元で非活性なグループをより効果的に除外でき、ロバストネスとスケーラビリティに優れた性能を示した。
• 理論的分析により、EP 1q が一般 q では、閉形式解の欠如と増加する非滑らかさ構造のため、特殊ケースよりもはるかに複雑であることが確認された。