[論文レビュー] Screening Rules for Convex Problems

Anant Raj, Jakob Olbrich+3 more|arXiv (Cornell University)|Sep 23, 2016

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

この論文は、凸最適化における安全で動的スクリーニングルールを導出する一般化された双対性に基づくフレームワークを導入する。このフレームワークにより、最適化の前または最適化中に重要でない変数を特定・削除できる。双対ギャップと凸性の性質を活用することで、Lasso、Elastic Net、SVM、グループlassoを含む、ペナルティ付きおよび制約付き問題に広く適用可能であり、新たな統一的なスクリーニングルールを導出し、証明可能な安全性と計算効率性を両立する。

ABSTRACT

We propose a new framework for deriving screening rules for convex optimization problems. Our approach covers a large class of constrained and penalized optimization formulations, and works in two steps. First, given any approximate point, the structure of the objective function and the duality gap is used to gather information on the optimal solution. In the second step, this information is used to produce screening rules, i.e. safely identifying unimportant weight variables of the optimal solution. Our general framework leads to a large variety of useful existing as well as new screening rules for many applications. For example, we provide new screening rules for general simplex and $L_1$-constrained problems, Elastic Net, squared-loss Support Vector Machines, minimum enclosing ball, as well as structured norm regularized problems, such as group lasso.

研究の動機と目的

• ペナルティ付きおよび制約付きの両方の定式化を含む、広範な凸最適化問題クラスに適用可能な、一貫性があり統一的なスクリーニングルールを導出するための一般化されたフレームワークを開発すること。
• 正則化パス依存性や幾何的特徴に依存するスクリーニング手法に代わり、正則化パラメータに依存せず、任意の反復的ソルバーに適用可能な、双対性に基づくアプローチを導入すること。
• 最適化の反復中に適用可能な動的スクリーニングを可能にするために、双対ギャップ推定値を用いて、最適性を損なわずに変数を安全に削除すること。
• Lasso、グループlasso、SVMsの既存スクリーニングルールを回復・一般化するとともに、一般単体問題やL1制約付き問題など、従来スクリーニング不能であった問題に対しても新たなスクリーニングルールを導出すること。
• 幾何的構造に依存しない一般化された凸解析の概念（滑らかさ、強い凸性）を用いてスクリーニング条件を表現すること。

提案手法

• このフレームワークは、プライマル解と双対解の間の双対ギャップを用いて、現在の双対反復点と真の双対最適解との距離を制限する。
• 最適性条件に基づくスクリーニングルールを定式化する：変数の双対部分勾配の大きさが双対ギャップから導かれる閾値未満であれば、対応するプライマル変数は0であることが保証される。
• グループ構造付き問題では、グループごとの係数の双対ノルムと双対ギャップを用いてスクリーニングルールを導出し、グループの双対ベクトルのノルムとギャップを含む条件が得られる。
• プライマル・双対ペアの構造を活用し、Fenchel双対性を用いて最適性条件を導出することにより、ペナルティ付きおよび制約付き問題の両方に適用可能である。
• 現在の双対ギャップを用いて各反復でスクリーニング閾値を更新することで、最適化中に段階的に問題のサイズを縮小できる動的スクリーニングを導入する。
• 固定された幾何的境界に依存せず、現在の双対反復点を球の中心とし、双対ギャップから半径を導出することで、球テスト法を一般化する。

実験結果

リサーチクエスチョン

• RQ1 凸双対性と双対ギャップ情報のみを用いて、広範な凸最適化問題クラスに一般化されたスクリーニングルールを体系的に導出できるか？
• RQ2 正則化パスに依存せず、任意の反復的最適化アルゴリズムに適用可能な、動的かつ安全なスクリーニングルールを設計できるか？
• RQ3 Lasso、グループlasso、SVMsの既存スクリーニングルールを、単一の双対性に基づくフレームワークで統一的かつ一般化できるか？
• RQ4 滑らかさと強い凸性が、幾何的仮定に依存せずに一般化されたスクリーニング条件を導出する上で果たす役割は何か？
• RQ5 一般単体問題やL1制約付き問題のように、従来スクリーニング不能であった問題に対しても、新たなスクリーニングルールを導出できるか？

主な発見

• 提案されたフレームワークにより、従来の手法ではスクリーニング不能であった一般単体問題およびL1制約付き問題に対し、新たなスクリーニングルールが導出された。
• Lasso、Elastic Net、二乗損失SVM、最小包含球、グループlassoの既存スクリーニングルールが、この一般フレームワークの特殊ケースとして統一的に導出された。
• グループlassoのスクリーニングルールは $\|\bm{a}^{(g)\top}W\|_2 < \lambda - \|\bm{a}^{(g)}\|_2 \|W - W^\star\|_2 \Rightarrow \bm{x}_g^\star = 0$ で与えられ、ここで $W$ は現在の双対反復点、$W^\star$ は最適双対解である。
• L-リプシッツ勾配を有する問題では、ルールが $\|\bm{a}^{(g)\top}W\|_2 < \lambda - \|\bm{a}^{(g)}\|_2 \sqrt{2L \, G(X)}$ に一般化され、ここで $G(X)$ は双対ギャップである。
• 現在の双対反復点を球の中心とし、双対ギャップから半径を制限する手法により、球テストに基づくスクリーニングを一般化し、動的かつ安全なスクリーニングを可能にした。
• このフレームワークは、Ndiayeら（2015）およびZimmertら（2015）の先行研究を回復・一般化しており、非分離的およびより一般的な目的関数へと拡張した。