[論文レビュー] Safe Screening for the Generalized Conditional Gradient Method

Yifan Sun, Francis Bach|arXiv (Cornell University)|Feb 22, 2020

Sparse and Compressive Sensing Techniques参考文献 50被引用数 5

ひとこと要約

本稿は、最適化の過程で不要なアトム（特徴）を動的に同定および削除できる、一般化条件付き勾配法（gCGM）の安全なスクリーニングルールを提案する。ギャップに基づくスクリーニングと罰則関数の強い凸性を活用することで、関数値の収束速度が O(1/t) に達し、サポート回復速度が O(1/(tδ²)) に達する。ここで δ は問題の退化度を測る指標であり、スパース学習問題における計算コストの低減と安定した特徴選択を保証する。

ABSTRACT

The conditional gradient method (CGM) has been widely used for fast sparse approximation, having a low per iteration computational cost for structured sparse regularizers. We explore the sparsity acquiring properties of a generalized CGM (gCGM), where the constraint is replaced by a penalty function based on a gauge penalty; this can be done without significantly increasing the per-iteration computation, and applies to general notions of sparsity. Without assuming bounded iterates, we show $O(1/t)$ convergence of the function values and gap of gCGM. We couple this with a safe screening rule, and show that at a rate $O(1/(tδ^2))$, the screened support matches the support at the solution, where $δ\geq 0$ measures how close the problem is to being degenerate. In our experiments, we show that the gCGM for these modified penalties have similar feature selection properties as common penalties, but with potentially more stability over the choice of hyperparameter.

研究の動機と目的

• 最適化の過程で収束に影響を与えることなく、不要なアトム（特徴）を同定および削除できる、一般化条件付き勾配法（gCGM）の安全なスクリーニングルールの開発。
• 一般のゲージペナルティ関数のもとで gCGM の理論的収束保証を確立し、関数値のギャップと最適性ギャップが O(1/t) で収束することを示す。
• 罰則関数 φ(ξ) における強い凸性と曲率を要件とすることで、問題が無限大に発散しないようにし、数値的安定性を確保する。
• 標準的な ℓ₁ ペナルティの代わりに構造的ゲージに基づくペナルティを用いることで、ハイパーパrameter選択に対する特徴選択の安定性を向上させる。
• Fenchel-Young ギャップとサポート関数の性質を用いて、原子の除外を保証する双対ベースのスクリーニング基準を提供する。

提案手法

• gCGM は、正則化問題 minₓ f(x) + h(x) を解く。ここで h(x) = φ(κₚ(x)) であり、φ は単調増加かつ μ-強い凸性を満たし、κₚ は「良い」集合 𝒫 上のゲージ関数である。
• 各反復で、s⁽ᵗ⁾ = argminₛ ∇f(x⁽ᵗ⁾)ᵀs + h(s) を計算し、x⁽ᵗ⁺¹⁾ = (1−θ⁽ᵗ⁾)x⁽ᵗ⁾ + θ⁽ᵗ⁾s⁽ᵗ⁾ で更新する。ここで θ⁽ᵗ⁾ = 4/(t+2) である。
• Fenchel-Young ギャップを用いた安全なスクリーニングルールを導出する。σₚ(−∇f(x)) + pᵀ∇f(x) > 2√(L·gap(x,−∇f(x))) が成り立つ場合、p ∉ suppₚ(x*) であるため、アトム p を安全に削除可能である。
• ギャップは残留ギャップ不等式により有界化される：res(x) ≤ √(L·gap(x,−∇f(x)))。これは、プライマル残留と双対ギャップを結びつける。
• 収束はテレスコピング和の議論と対数積分の境界を用いて確立され、関数値ギャップと最適性ギャップの両方が O(1/t) で減少することが示される。
• スクリーニングルールは反復的に適用され、サポート回復は δ ≥ 0 が解の退化度を測るパラメータである O(1/(tδ²)) の速度で発生する。

実験結果

リサーチクエスチョン

• RQ1 非多面体的でゲージに基づくペナルティ関数を有する一般化条件付き勾配法（gCGM）に、安全なスクリーニングルールを効果的に適用可能か？
• RQ2 一般のゲージペナルティ関数のもとで gCGM の収束速度は何か？また、ペナルティ関数の強い凸性にどのように依存するか？
• RQ3 提案されたスクリーニングルールは、最適サポートに含まれないアトムが最適化の過程で安全に削除されることをどのように保証するか？
• RQ4 安全なスクリーニングを施した gCGM のサポート回復速度は何か？また、退化度パラメータ δ にどのように依存するか？
• RQ5 φ(ξ) に曲率をもたせたゲージペナルティを用いることで、標準的な ℓ₁ 正則化と比較して特徴選択の安定性が向上するか？

主な発見

• f が L-スムーズかつ φ が μ-強い凸性を満たす条件下で、gCGM は関数値ギャップと最適性ギャップの両方で O(1/t) の収束速度を達成する。
• 安全なスクリーニングルールにより、σₚ(−∇f(x)) + pᵀ∇f(x) > 2√(L·gap(x,−∇f(x))) を満たす任意のアトム p は最適サポートに属さないことが保証され、安全に削除可能である。
• サポート回復は δ ≥ 0 が解の退化度を測るパラメータである O(1/(tδ²)) の速度で発生する。退化度が低い問題ではより速く回復が達成される。
• φ(ξ) における曲率条件により、部分問題 (2) が有界であり、双対変数 −∇f(x⁽ᵗ⁾) が有効な候補として成立する。これにより、無限大に発散する反復が回避される。
• 低コストの反復計算を維持しながら、動的サポートスクリーニングを可能とし、大規模なスパース学習における計算コストを低減する。
• 実験結果では、ゲージペナルティを用いた gCGM が ℓ₁ 正則化と同様の特徴選択特性を達成するが、ハイパーパrameterの選択に依存しない安定性が向上している。