[논문 리뷰] Screening Rules for Lasso with Non-Convex Sparse Regularizers

Alain Rakotomamonjy, Gilles Gasso외 1명|arXiv (Cornell University)|2019. 02. 16.

Systemic Lupus Erythematosus Research참고 문헌 3인용 수 10

한 줄 요약

이 논문은 라소 문제에서 비볼록 희소 정규화 요소에 대해 처음으로 선별 규칙 전략을 제안하며, 이는 이중성 갭 기반의 선별과 상호 반복 간 선별 전파를 포함한 주요화-최소화(MM) 프레임워크를 활용한다. 이 방법은 유한 시간 내에 영 성분을 식별함으로써 수렴 속도를 가속화하며, 고정밀도 설정에서 비선별 대비 최대 6.5배의 성능 향상을 달성한다.

ABSTRACT

Leveraging on the convexity of the Lasso problem , screening rules help in accelerating solvers by discarding irrelevant variables, during the optimization process. However, because they provide better theoretical guarantees in identifying relevant variables, several non-convex regularizers for the Lasso have been proposed in the literature. This work is the first that introduces a screening rule strategy into a non-convex Lasso solver. The approach we propose is based on a iterative majorization-minimization (MM) strategy that includes a screening rule in the inner solver and a condition for propagating screened variables between iterations of MM. In addition to improve efficiency of solvers, we also provide guarantees that the inner solver is able to identify the zeros components of its critical point in finite time. Our experimental analysis illustrates the significant computational gain brought by the new screening rule compared to classical coordinate-descent or proximal gradient descent methods.

연구 동기 및 목표

• 비볼록 희소 정규화에서 선별 규칙의 부재를 해결하기 위해, 볼록 라소에서는 잘 정립되어 있지만 비볼록 라소에는 아직 미비한 상태이다.
• ℓ₀-노름 희소성에 더 가까운 근사치를 제공하는 비볼록 페널티(예: SCAD, MCP, Log Sum)와 호환되는 선별 전략을 개발하기 위해.
• 선별을 MM 최적화 프레임워크에 통합하여, 관련이 없는 변수를 안전하고 효율적으로 제거하기 위해.
• 내부 솔버가 임계점의 영 성분을 유한 시간 내에 식별할 수 있다는 이론적 보장을 제공하기 위해.
• 선별 전파가 MM 반복 간에 적용될 경우 솔버의 효율성이 뚜렷이 향상됨을 경험적으로 검증하기 위해.

제안 방법

• SCAD, MCP, Log Sum와 같은 오목이고 미분 가능한 페널티를 사용하여 비볼록 라소 문제를 정식화하며, ℓ₂ 손실과 희소성 유도 정규화를 포함한다.
• 주요화-최소화(MM) 원리를 적용하여 볼록 대체 함수를 반복적으로 최소화함으로써, 비볼록 문제를 가중 라소 하위 문제의 시퀀스로 환원한다.
• 각 가중 라소 해결 과정 내에서 이중성 갭 기반의 선별 규칙을 활용하여, 유한 시간 내에 비활성 변수를 식별하고 제거한다.
• 한 번의 MM 반복에서 선별된 변수를 다음 반복으로 전파하는 전파 규칙을 도입하여, 중복 계산을 감소시킨다.
• 이중성 갭 허용 오차 τ 기반의 정지 기준을 사용하며, 내부 반복마다 5회, 외부 MM 반복마다 10회 간격으로 선별을 적용한다.
• 파이썬/Numpy로 구현하여 좌표 강하(ncvxCD) 및 GIST와 비교하며, 일관된 수렴 검사를 수행한다.

실험 결과

연구 질문

• RQ1 비볼록 희소 정규화 요소의 비볼록성에도 불구하고, 선별 규칙이 비볼록 라소에 효과적으로 확장될 수 있는가?
• RQ2 MM 프레임워크 내의 각 가중 라소 하위 문제에서 이중성 갭 기반의 선별 규칙이 임계점의 모든 영 성분을 유한 시간 내에 식별할 수 있는가?
• RQ3 MM 반복 간에 선별된 변수를 전파하는 것이 수렴 속도 향상에 측정 가능한 성과 기여를 하는가?
• RQ4 다양한 노이즈 수준과 정밀도 요구 사항에서, 전통적인 비볼록 솔버(nvxCD, GIST)에 비해 제안된 선별 전략의 효율성은 어떠한가?
• RQ5 선별 전파가 합성 및 실제 데이터 세트에서의 계산 시간에 어떤 영향을 미치는가?

주요 결과

• 제안된 MM-screen 방법은 고정밀도 허용 오차 10⁻⁸에서 비선별 기반의 MM-genuine 대비 최대 6.5배의 성능 향상을 달성한다.
• 낮은 노이즈(σ = 0.01)를 가진 합성 문제에서, 선별 전파로 인해 일관되게 1.8×에서 4×의 성능 향상이 발생하며, 고정밀도 요구 조건에서 최대 6.5×까지 증가한다.
• 이중성 갭 기반의 선별 규칙은 각 가중 라소 해결 과정 내에서 임계점의 모든 영 성분을 유한 시간 내에 성공적으로 식별한다.
• 림프성 백혈병 데이터셋(n=72, d=7129)에서, 고정밀도 설정에서 ncvxCD 대비 3–5×, GIST 대비 약 4×의 성능 향상을 달성한다.
• 희소 뉴스그룹 데이터셋(n=961, d=21,319)에서, 선별 전파로 인해 1.3–1.8×의 성능 향상이 발생하며, 합성 결과와 일관된다.
• 모든 설정에서 순수 비볼록 좌표 강하 대비 약 5배의 계산 시간 감소를 기록하여, 강력한 효율성 향상을 입증한다.