[논문 리뷰] GAP Safe Screening Rules for Sparse-Group-Lasso

Eugène Ndiaye, Olivier Fercoq외 2명|arXiv (Cornell University)|2016. 02. 19.

Statistical Methods and Inference인용 수 13

한 줄 요약

이 논문은 좌표 강하 최적화 과정에서 조기로 비활성 특징과 그룹을 식별하고 제거하기 위해 ε-노름의 기하적 성질을 활용한, Sparse-Group Lasso에 대한 처음으로 증명 가능하게 안전한 스크리닝 규칙을 제안한다. 이 방법은 해의 정확도를 훼손하지 않으면서 이중 간격을 효율적으로 계산하여 계산 시간을 크게 단축시킨다.

ABSTRACT

For statistical learning in high dimension, sparse regularizations have proven useful to boost both computational and statistical efficiency. In some contexts, it is natural to handle more refined structures than pure sparsity, such as for instance group sparsity. Sparse-Group Lasso has recently been introduced in the context of linear regression to enforce sparsity both at the feature and at the group level. We propose the first (provably) safe screening rules for Sparse-Group Lasso, i.e., rules that allow to discard early in the solver features/groups that are inactive at optimal solution. Thanks to efficient dual gap computations relying on the geometric properties of $\epsilon$-norm, safe screening rules for Sparse-Group Lasso lead to significant gains in term of computing time for our coordinate descent implementation.

연구 동기 및 목표

• 고차원 설정에서 Sparse-Group Lasso의 계산 비효율성을 해결하기 위해 관련이 없는 특징과 그룹을 조기에 제거할 수 있도록 하는 것.
• 최적 해의 구성 요소가 잘못 제거되지 않음을 보장하는 안전한 스크리닝 규칙을 개발하는 것.
• ε-노름의 기하적 구조를 활용하여 스크리닝 결론을 내리기 위한 이중 간격을 효율적으로 계산하는 것.
• 스크리닝 규칙을 좌표 강하 솔버에 통합하여 수렴 속도를 가속화하면서도 정확도를 손상시키지 않는 것.

제안 방법

• 스크리닝 규칙은 스파스-그룹 정규화에서 ε-노름의 기하적 성질을 이용해 계산된 이중 간격에 기반하여 유도된다.
• 이중 문제에서 유도된 경계를 바탕으로 특징이나 그룹을 안전하게 제거할 수 있는 조건을 수립한다.
• 스크리닝 규칙은 좌표 강하 알고리즘에 통합되어 비활성 구성 요소를 반복적으로 제거할 수 있도록 한다.
• ε-노름의 구조를 활용하여 이중 간격 계산을 최적화함으로써 빠르고 신뢰할 수 있는 스크리닝 결정을 가능하게 한다.
• 최적화 과정 중에 조밀하고 계산 가능한 이중 간격 추정에 기반하여 증명 가능한 안전성을 확보한다.

실험 결과

연구 질문

• RQ1 최적 해의 구성 요소가 잘못 제거되지 않는다는 것을 보장하는 안전한 스크리닝 규칙을 Sparse-Group Lasso에 개발할 수 있는가?
• RQ2 ε-노름의 기하적 구조를 어떻게 활용하여 스크리닝을 위한 이중 간격을 효율적으로 계산할 수 있는가?
• RQ3 비활성 특징과 그룹의 조기 제거가 Sparse-Group Lasso의 좌표 강하 수렴 속도에 미치는 영향은 어떠한가?
• RQ4 기존 솔버에 스크리닝 규칙을 통합할 수 있으며, 이로 인해 해의 품질이 손상되지 않는가?

주요 결과

• 제안된 스크리닝 규칙은 증명 가능하게 안전하여 최적 해에 활성인 특징이나 그룹이 잘못 제거되지 않음을 보장한다.
• 최적화 과정의 조기 단계에서 비활성 구성 요소를 제거함으로써 계산 시간을 크게 단축시킨다.
• ε-노름 기하학에 기반한 이중 간격 계산은 좌표 강하 과정에서 효율적이고 정확한 스크리닝 결정을 가능하게 한다.
• 스크리닝 규칙을 좌표 강하 프레임워크에 통합함으로써 정확도를 잃지 않으면서도 수렴 속도를 향상시킨다.