[論文レビュー] Expanding boundaries of Gap Safe screening

Cássio F. Dantas, Emmanuel Soubies+1 more|arXiv (Cornell University)|Feb 22, 2021

Data-Driven Disease Surveillance参考文献 39被引用数 7

ひとこと要約

この論文は、双対目的関数におけるグローバルな強い凸性の要件を緩和し、非負制約を組み込むことで、Gap Safeスクリーニングフレームワークを拡張している。これにより、$\beta$-divergence（例：Kullback-Leibler発散）を含むより広いクラスの問題に対する安全なスクリーニングが可能となり、ロジスティック回帰において性能が向上し、最小限の計算オーバーヘッドで効率的かつ証明可能に正しい変数削除が実現される。

ABSTRACT

Sparse optimization problems are ubiquitous in many fields such as statistics, signal/image processing and machine learning. This has led to the birth of many iterative algorithms to solve them. A powerful strategy to boost the performance of these algorithms is known as safe screening: it allows the early identification of zero coordinates in the solution, which can then be eliminated to reduce the problem's size and accelerate convergence. In this work, we extend the existing Gap Safe screening framework by relaxing the global strong-concavity assumption on the dual cost function. Instead, we exploit local regularity properties, that is, strong concavity on well-chosen subsets of the domain. The non-negativity constraint is also integrated to the existing framework. Besides making safe screening possible to a broader class of functions that includes beta-divergences (e.g., the Kullback-Leibler divergence), the proposed approach also improves upon the existing Gap Safe screening rules on previously applicable cases (e.g., logistic regression). The proposed general framework is exemplified by some notable particular cases: logistic function, beta = 1.5 and Kullback-Leibler divergences. Finally, we showcase the effectiveness of the proposed screening rules with different solvers (coordinate descent, multiplicative-update and proximal gradient algorithms) and different data sets (binary classification, hyperspectral and count data).

研究の動機と目的

• 双対関数におけるグローバルな強い凸性の仮定を越えて、Gap Safeスクリーニングフレームワークを拡張すること。
• スパース最適化のための安全なスクリーニングフレームワークに非負制約を統合すること。
• Kullback-Leibler発散などの$\beta$-divergenceを含む、より広いクラスの損失関数に対する安全なスクリーニングを可能にすること。
• 局所的正則性の活用を強化することで、ロジスティック回帰などの従来の適用可能な問題におけるスクリーニング性能を向上させること。
• 複数のソルバーおよびデータタイプに一般に適用可能な、計算的に効率的なスクリーニングルールを提供すること。

提案手法

• 双対領域の適切に選ばれた部分集合における局所的強い凸性を活用することで、グローバルな強い凸性の仮定を緩和する。
• 修正された双対変数スケーリングと射影を用いて、非負制約（$\mathcal{C} = \mathbb{R}^n_+$）をGap Safeフレームワークに統合する。
• 双対解の境界を活用し、Gap Safe球と集合$\mathcal{S}_0$の交差に基づく新しいスクリーニングテストを提案する。
• 既知のノルムと$\mathbf{a}_j^T\bm{\rho}(\mathbf{x})$を用いて$\mathbf{a}_j^T\bm{\Theta}(\mathbf{x})$の効率的計算を導出し、追加コストを最小限に抑える。
• 双対ギャップと双対変数の収束を用いて、非活性変数を安全に削除できる領域を定義する。
• 座標降下法、乗法的更新、近位勾配法などのさまざまなソルバーおよび損失関数（$\beta=1.5$、Kullback-Leibler発散、ロジスティック）にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 双対関数にグローバルな強い凸性がない問題に対しても、安全なスクリーニングを拡張できるか？
• RQ2 非負制約をどのようにしてGap Safeスクリーニングフレームワークに形式的に統合できるか？
• RQ3 局所的強い凸性を活用することで、ロジスティック回帰や他の二次形式でない損失関数におけるスクリーニング性能が向上するか？
• RQ4 提案されたスクリーニングルールは、実際の計算において最小限のオーバーヘッドで効率的に計算可能か？
• RQ5 新しいスクリーニングルールは、さまざまなデータタイプおよびソルバーにおいて収束速度にどのような影響を与えるか？

主な発見

• 提案されたフレームワークにより、局所的に強く凸である双対関数をもつ問題に対する安全なスクリーニングが可能となり、グローバルな強い凸性の仮定を超えて適用範囲が広がった。
• 非負制約の統合により、$\beta$-divergenceを用いた非負のスパース最適化問題（例：非負行列分解）に対する安全なスクリーニングが可能になった。
• 局所的正則性の活用により、ロジスティック回帰におけるスクリーニング性能が向上し、より積極的な変数削除が実現された。
• $\beta=1.5$およびKullback-Leibler発散に対するスクリーニングルールは、証明可能に妥当であり、計算的にも効率的で、低オーバーヘッドである。
• 実験結果から、バイナリ分類、ハイパースペクトル、カウントデータを含む複数のソルバーやデータセットにおいて顕著な高速化が得られた。
• 既存のソルバーの量を用いて$\mathbf{a}_j^T\bm{\Theta}(\mathbf{x})$の計算が効率的に導出可能であり、最小限のランタイムコストでシームレスに統合可能である。