[논문 리뷰] Expanding boundaries of Gap Safe screening

Cássio F. Dantas, Emmanuel Soubies외 1명|arXiv (Cornell University)|2021. 02. 22.

Data-Driven Disease Surveillance참고 문헌 39인용 수 7

한 줄 요약

이 논문은 이중 목표 함수에 대한 전역 강凸성 조건을 완화하고 비음성 제약 조건을 통합함으로써 Gap Safe 스크리닝 프레임워크를 확장한다. 이는 Kullback-Leibler 발산과 같은 $\beta$-발산을 포함한 더 넓은 범주 문제에 대한 안전한 스크리닝을 가능하게 한다. 제안된 방법은 로지스틱 회귀에서의 스크리닝 성능을 향상시키며, 최소한의 계산 오버헤드로 인해 희소 최적화에서 효율적이고 증명 가능한 변수 제거를 가능하게 한다.

ABSTRACT

Sparse optimization problems are ubiquitous in many fields such as statistics, signal/image processing and machine learning. This has led to the birth of many iterative algorithms to solve them. A powerful strategy to boost the performance of these algorithms is known as safe screening: it allows the early identification of zero coordinates in the solution, which can then be eliminated to reduce the problem's size and accelerate convergence. In this work, we extend the existing Gap Safe screening framework by relaxing the global strong-concavity assumption on the dual cost function. Instead, we exploit local regularity properties, that is, strong concavity on well-chosen subsets of the domain. The non-negativity constraint is also integrated to the existing framework. Besides making safe screening possible to a broader class of functions that includes beta-divergences (e.g., the Kullback-Leibler divergence), the proposed approach also improves upon the existing Gap Safe screening rules on previously applicable cases (e.g., logistic regression). The proposed general framework is exemplified by some notable particular cases: logistic function, beta = 1.5 and Kullback-Leibler divergences. Finally, we showcase the effectiveness of the proposed screening rules with different solvers (coordinate descent, multiplicative-update and proximal gradient algorithms) and different data sets (binary classification, hyperspectral and count data).

연구 동기 및 목표

• 이중 함수에 대한 전역 강凸성 가정을 초월하여 Gap Safe 스크리닝 프레임워크를 확장하는 것.
• 희소 최적화를 위한 안전한 스크리닝 프레임워크에 비음성 제약 조건을 통합하는 것.
• Kullback-Leibler 발산과 같은 $\beta$-발산을 포함한 더 넓은 범주 손실 함수에 대한 안전한 스크리닝을 가능하게 하는 것.
• 이전에 적용 가능했던 문제들, 예를 들어 로지스틱 회귀에서의 스크리닝 성능을 향상시키기 위해 국소 정규성의 활용을 강화하는 것.
• 다양한 솔버와 데이터 유형에 적용 가능한 일반적이고 계산적으로 효율적인 스크리닝 규칙을 제공하는 것.

제안 방법

• 이중 영역의 잘 선택된 부분집합에서 국소 강凸성에 기반하여 전역 강凸성 가정을 완화한다.
• 수정된 이중 변수 스케일링과 투영을 통해 비음성 제약 조건 ($\mathcal{C} = \mathbb{R}^n_+$) 을 Gap Safe 프레임워크에 통합한다.
• 이중 해의 범위를 활용하여 $\mathcal{S}_0$ 집합과의 교차를 고려한 새로운 스크리닝 테스트를 제안한다.
• 기존의 노름과 $\mathbf{a}_j^T\bm{\rho}(\mathbf{x})$ 를 이용하여 $\mathbf{a}_j^T\bm{\Theta}(\mathbf{x})$ 의 효율적 계산을 유도하며, 추가 비용을 최소화한다.
• 이중 갭과 이중 변수 수렴을 이용하여 비활성 변수를 안전하게 제거할 수 있는 영역을 정의한다.
• 좌표 강하, 곱셈 업데이트, 프락시멀 기울기 강하 등 다양한 솔버와 $\beta=1.5$, KL 발산, 로지스틱 손실 함수에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 이중 함수에 전역 강凸성이 없더라도 안전한 스크리닝을 확장할 수 있는가?
• RQ2 비음성 제약 조건을 Gap Safe 스크리닝 프레임워크에 공식적으로 통합할 수 있는가?
• RQ3 국소 강凸성의 활용이 로지스틱 회귀 및 기타 비제곱 손실 함수에서 스크리닝 성능을 향상시키는가?
• RQ4 제안된 스크리닝 규칙은 실질적으로 최소한의 오버헤드로 효율적으로 계산될 수 있는가?
• RQ5 새로운 스크리닝 규칙이 다양한 데이터 유형과 솔버에서 수렴 속도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 프레임워크는 이중 함수가 국소적으로 강凸인 문제로 안전한 스크리닝을 확장하여 전역 강凸성 가정을 초월한 적용 가능성을 넓혔다.
• 비음성 제약 조건의 통합은 비음성 희소 최적화 문제, 예를 들어 $\beta$-발산을 사용한 비음성 행렬 분해 문제에 대한 안전한 스크리닝을 가능하게 한다.
• 국소 정규성의 활용을 통해 로지스틱 회귀에서의 스크리닝 성능을 향상시켜 더 적극적인 변수 제거를 이룬다.
• $\beta=1.5$ 와 Kullback-Leibler 발산에 대한 스크리닝 규칙은 증명 가능한 타당성과 계산 효율성을 확보하며, 낮은 오버헤드를 가진다.
• 실험 결과는 이진 분류, 고스펙트럼 데이터, 카운트 데이터를 포함한 다양한 솔버와 데이터셋에서 뚜렷한 속도 향상을 보였다.
• $\mathbf{a}_j^T\bm{\Theta}(\mathbf{x})$ 의 계산은 기존 솔버의 양상을 활용하여 효율적으로 유도되며, 최소한의 런타임 비용으로 원활한 통합이 가능하다.