[논문 리뷰] Safe Screening for the Generalized Conditional Gradient Method

Yifan Sun, Francis Bach|arXiv (Cornell University)|2020. 02. 22.

Sparse and Compressive Sensing Techniques참고 문헌 50인용 수 5

한 줄 요약

이 논문은 일반화된 조건부 기울기 방법(gCGM)에 대해 최적화 중에 관련 없는 원자(특징)를 동적으로 식별하고 제거할 수 있는 안전한 필터링 규칙을 제안한다. 갭 기반 필터링과 펜alty 함수의 강凸성(strong convexity)을 활용하여, 함수 값의 수렴 속도가 O(1/t)이고, 지지 집합 복구 속도가 O(1/(tδ²))임을 보장한다. 여기서 δ는 문제의 퇴화 정도를 측정하는 값이며, 희소 학습 문제에서 계산 비용을 줄이고 안정적인 특징 선택을 보장한다.

ABSTRACT

The conditional gradient method (CGM) has been widely used for fast sparse approximation, having a low per iteration computational cost for structured sparse regularizers. We explore the sparsity acquiring properties of a generalized CGM (gCGM), where the constraint is replaced by a penalty function based on a gauge penalty; this can be done without significantly increasing the per-iteration computation, and applies to general notions of sparsity. Without assuming bounded iterates, we show $O(1/t)$ convergence of the function values and gap of gCGM. We couple this with a safe screening rule, and show that at a rate $O(1/(tδ^2))$, the screened support matches the support at the solution, where $δ\geq 0$ measures how close the problem is to being degenerate. In our experiments, we show that the gCGM for these modified penalties have similar feature selection properties as common penalties, but with potentially more stability over the choice of hyperparameter.

연구 동기 및 목표

• 최적화 과정에서 수렴성을 훼손하지 않으면서도 관련 없는 원자(특징)를 식별하고 제거할 수 있는 gCGM에 대한 안전한 필터링 규칙을 개발하는 것.
• 일반적인 게이지 페널티 하에서 gCGM의 이론적 수렴 보장을 확립하여, 함수 값의 O(1/t) 수렴과 최적성 갭의 수렴을 보여주는 것.
• 펜alty 함수 φ(ξ)의 강凸성과 곡률 조건을 요구하여, 하위문제가 유계이게 하고, 수치적으로 안정된 상태를 유지함으로써 방법이 잘 정의됨을 보장하는 것.
• 표준 ℓ₁ 페널티 대신 구조적 게이지 기반 페널티를 도입하여, 하이퍼파rameter 선택에 대한 특징 선택의 안정성을 향상시키는 것.
• 펜첼-영 갭과 지지 함수 성질을 활용한 이중 기반 필터링 기준을 제공하여 원자 제거의 타당성을 인증하는 것.

제안 방법

• gCGM는 minₓ f(x) + h(x)의 정규화 문제를 해결하며, 여기서 h(x) = φ(κₚ(x))이며, φ는 단조 증가하고 μ-강凸인 함수이며, κₚ는 '좋은'(nice) 집합 𝒫 위의 게이지 함수이다.
• 각 반복 단계에서 s⁽ᵗ⁾ = argminₛ ∇f(x⁽ᵗ⁾)ᵀs + h(s)를 계산한 후, x⁽ᵗ⁺¹⁾ = (1−θ⁽ᵗ⁾)x⁽ᵗ⁾ + θ⁽ᵗ⁾s⁽ᵗ⁾로 업데이트하며, θ⁽ᵗ⁾ = 4/(t+2)로 설정된다.
• 펜첼-영 갭을 활용한 안전한 필터링 규칙을 유도한다: 만약 σₚ(−∇f(x)) + pᵀ∇f(x) > 2√(L·gap(x,−∇f(x)))이면, p ∉ suppₚ(x*)이므로 원자 p를 제거할 수 있다.
• 잔차 갭 부등식을 통해 갭을 유계로 제한한다: res(x) ≤ √(L·gap(x,−∇f(x)))로, 원본 잔차와 이중 갭을 연결한다.
• 텔레스코프 합 추론과 로그 적분 경계를 활용하여 수렴성을 확립하며, 함수 값 갭과 최적성 갭이 모두 O(1/t)로 감소함을 보여준다.
• 필터링 규칙은 반복적으로 적용되며, 지지 집합 복구 속도가 O(1/(tδ²))임을 보여주며, 여기서 δ ≥ 0은 해의 퇴화 정도를 측정한다.

실험 결과

연구 질문

• RQ1 비다각형, 게이지 기반 페널티를 갖는 일반화된 조건부 기울기 방법(gCGM)에 대해 안전한 필터링 규칙를 효과적으로 적용할 수 있는가?
• RQ2 일반적인 게이지 페널티 하에서 gCGM의 수렴 속도는 무엇이며, 페널티 함수의 강凸성에 어떻게 의존하는가?
• RQ3 제안된 필터링 규칙는 최적 지지 집합에 포함되지 않은 원자들이 최적화 과정에서 안전하게 제거됨을 어떻게 보장하는가?
• RQ4 안전한 필터링을 적용한 gCGM의 지지 집합 복구 속도는 무엇이며, 퇴화 매개변수 δ에 어떻게 의존하는가?
• RQ5 φ(ξ)에 곡률 조건이 있는 게이지 페널티를 사용할 경우, 표준 ℓ₁ 정규화보다 특징 선택의 안정성이 향상되는가?

주요 결과

• f의 L-스무쓰함과 φ의 μ-강凸성 조건 하에서 gCGM는 함수 값 갭과 최적성 갭 모두 O(1/t)의 수렴 속도를 달성한다.
• 안전한 필터링 규칙은 σₚ(−∇f(x)) + pᵀ∇f(x) > 2√(L·gap(x,−∇f(x)))를 만족하는 모든 원자 p가 최적 지지 집합에 포함되지 않음을 보장하므로, 안전한 제거가 가능하다.
• 지지 집합 복구 속도는 O(1/(tδ²))이며, δ ≥ 0은 해의 퇴화 정도를 측정하며, 퇴화가 덜한 문제일수록 성능이 향상된다.
• φ(ξ)에 대한 곡률 조건은 하위문제(2)가 유계이게 하고, 이중 변수 −∇f(x⁽ᵗ⁾)가 유효한 후보가 되게 하여, 무한대 수렴을 방지한다.
• 낮은 반복 단위 비용을 유지하면서도 동적 지지 집합 필터링을 가능하게 하여, 대규모 희소 학습 문제에서 계산 비용을 감소시킨다.
• 실험 결과는 게이지 페널티를 사용한 gCGM가 ℓ₁-정규화와 유사한 특징 선택 성질을 보이지만, 하이퍼파rameter 선택에 대한 안정성이 향상됨을 보여준다.