[논문 리뷰] Gap Safe screening rules for sparsity enforcing penalties

Eugène Ndiaye, Olivier Fercoq외 2명|arXiv (Cornell University)|2016. 11. 17.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 11

한 줄 요약

이 논문은 Lasso, 다중 작업 Lasso, 스파arsity-그룹 Lasso와 같은 스파arsity를 강조하는 모델 최적화 중에 관련 없는 특징을 안전하게 제거할 수 있는 통합적이고 이중성 간격 기반의 프레임워크인 Gap Safe 스크리닝 규칙을 제안한다. 각 반복에서 이중성 간격 계산을 활용함으로써, 동적이고 안전한 변수 스크리닝이 가능해져 다양한 고차원 학습 과제에서 좌표 강하 솔버의 수렴 속도를 크게 향상시키며, 이는 이전의 안전 규칙 및 강력한 규칙보다도 속도와 안정성 면에서 뛰어나며, 특히 낮은 정규화 파rameter에서 두각을 나타낸다.

ABSTRACT

In high dimensional regression settings, sparsity enforcing penalties have proved useful to regularize the data-fitting term. A recently introduced technique called screening rules propose to ignore some variables in the optimization leveraging the expected sparsity of the solutions and consequently leading to faster solvers. When the procedure is guaranteed not to discard variables wrongly the rules are said to be safe. In this work, we propose a unifying framework for generalized linear models regularized with standard sparsity enforcing penalties such as $\ell_1$ or $\ell_1/\ell_2$ norms. Our technique allows to discard safely more variables than previously considered safe rules, particularly for low regularization parameters. Our proposed Gap Safe rules (so called because they rely on duality gap computation) can cope with any iterative solver but are particularly well suited to (block) coordinate descent methods. Applied to many standard learning tasks, Lasso, Sparse-Group Lasso, multi-task Lasso, binary and multinomial logistic regression, etc., we report significant speed-ups compared to previously proposed safe rules on all tested data sets.

연구 동기 및 목표

• 스파arsity 강조 모델 최적화에서 발생하는 계산적 병목 현상을 해결하기 위해 반복적 솔버의 속도를 높이기 위해 안전한 특징 제거를 통한 가속화를 도모한다.
• 기존의 안전 규칙은 종종 너무 보수적이거나 실무에서 이용 가능한 정확한 이중 해가 필요로 하는 한계를 극복한다.
• 일반적인 볼록 스파arsity 촉진 문제에 적용 가능한 단일 프레임워크 내에서 순차적 및 동적 스크리닝 전략을 통합한다.
• 최적해에서 계수 값이 0임이 보장되는 변수들을 동적으로 제거함으로써 수렴 속도 향상과 액티브 세트 식별을 가능하게 한다.
• 좌표 강하 및 블록 좌표 강하와 같은 반복적 솔버에 스크리닝 규칙의 적용을 확장하여, 지원 감소가 자연스럽게 지원되는 환경을 활용한다.

제안 방법

• 솔버 반복 과정에서 최적해에서 계수 값이 0임이 보장되는 변수들을 동적으로 식별할 수 있는 이중성 간격 기반의 스크리닝 기준을 제안한다.
• 이중성 간격을 사용해 최적 목적 함수 값의 하한을 계산함으로써, 이중 비가역성이 이 하한을 초과하는 특징들을 안전하게 제거할 수 있다.
• (블록) 좌표 강하 솔버에 스크리닝 규칙을 통합하여, 수렴에 영향을 주지 않으면서도 비활성 좌표를 효율적으로 제거할 수 있도록 한다.
• 이전 정규화 파rameter에서의 중간 반복값과 이중성 간격 추정치를 활용해 순차적 및 동적 스크리닝을 통합한다.
• 일반선형 모델에 표준 스파arsity 페널티(예: ℓ1, ℓ1{ℓ2)를 적용하여 이론적 안전성과 실용적 효율성을 확보한다.
• 이전 해와 스크리닝 결과를 재사용하는 액티브 세트 및 웜 스타트 전략을 통합하여 수렴 속도를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 Lasso, 다중 작업 Lasso, 스파arsity-그룹 Lasso와 같은 다양한 모델에 대해 스파arsity 정규화 학습 문제에서 특징을 안전하게 제거할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 최적해를 사전에 알지 못한 상태에서 이중성 간격 계산을 어떻게 활용하여 반복 최적화 과정 중에 동적으로 안전하게 변수를 제거할 수 있는가?
• RQ3 특히 낮은 정규화 파rameter 영역에서 기존의 안전 또는 강력한 스크리닝 규칙에 비해 Gap Safe 규칙이 얼마나 더 빠른가?
• RQ4 제안된 방법이 좌표 강하 및 블록 좌표 강하 솔버에 원활하게 통합될 수 있는가? 이는 지원 감소가 자연스럽게 지원되는 환경이기 때문이다.
• RQ5 Gap Safe 규칙과 액티브 세트 및 웜 스타트 전략의 조합이 실제 고차원 데이터 세트에서 솔버 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 Gap Safe 규칙은 Leukemia, MEG/EEG, 기후 데이터를 포함한 모든 테스트 데이터 세트에서 기존의 안전 규칙보다 최대 3배 빠른 수렴 속도를 달성했다.
• Gap Safe 규칙은 특히 낮은 정규화 파rameter에서 이전의 안전 규칙보다 더 적극적으로 작용하며, 이는 이론적 안전성을 유지하면서도 더 많은 변수를 제거함으로써 가능하다.
• Leukemia 데이터 세트에서 ℓ1-정규화 로지스틱 회귀 모델의 경우, Gap Safe 규칙을 사용한 전반적인 동적 스크리닝은 표준 안전 규칙 대비 계산 시간을 2.5배 감소시켰다.
• 기후 데이터에서 스파arsity-그룹 Lasso를 적용한 결과, 100개의 로그 스케일 정규화 파aram터를 사용한 경로 알고리즘에서 수렴 시간이 3배 빨라졌으며, 액티브 세트 식별 성능도 향상되었다.
• Gap Safe 스크리닝과 액티브 웜 스타트 전략의 통합은 특히 경로 알고리즘에서 성능 향상을 더욱 높였으며, 모든 테스트 모델에서 수렴까지의 시간을 단축시켰다.
• 이 프레임워크는 회귀 및 분류 과제를 아우르며, 이중 및 다중 로지스틱 회귀를 포함하여 스파arsity 학습 문제에 넓은 적용 범위를 보이며, 뛰어난 일반화 능력과 안정성을 입증했다.