[논문 리뷰] From safe screening rules to working sets for faster Lasso-type solvers

Mathurin Massias, Alexandre Gramfort외 1명|arXiv (Cornell University)|2017. 03. 21.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 9

한 줄 요약

이 논문은 Lasso 유형 솔버를 위한 새로운 워킹 세트(WS) 전략을 제안하며, 공격적인 Gap Safe 스크리닝 규칙과 Gauss-Southwell(GS) 블록 좌표 강하를 결합하여 수렴 속도를 향상시킨다. 사전에 그램 행렬을 계산하고, 배치화된 GS 규칙(GS-rB)을 사용함으로써, 희소 학습 문제에서 기존 표준 솔버들보다 크게 뛰어난 성능을 달성한다. 이는 Lasso 및 다중 작업 Lasso 설정 모두에서 성능 향상을 보였다.

ABSTRACT

Convex sparsity-promoting regularizations are ubiquitous in modern statistical learning. By construction, they yield solutions with few non-zero coefficients, which correspond to saturated constraints in the dual optimization formulation. Working set (WS) strategies are generic optimization techniques that consist in solving simpler problems that only consider a subset of constraints, whose indices form the WS. Working set methods therefore involve two nested iterations: the outer loop corresponds to the definition of the WS and the inner loop calls a solver for the subproblems. For the Lasso estimator a WS is a set of features, while for a Group Lasso it refers to a set of groups. In practice, WS are generally small in this context so the associated feature Gram matrix can fit in memory. Here we show that the Gauss-Southwell rule (a greedy strategy for block coordinate descent techniques) leads to fast solvers in this case. Combined with a working set strategy based on an aggressive use of so-called Gap Safe screening rules, we propose a solver achieving state-of-the-art performance on sparse learning problems. Results are presented on Lasso and multi-task Lasso estimators.

연구 동기 및 목표

• 안정적인 스크리닝 규칙과 워킹 세트 전략을 통합하여 Lasso 유형 솔버의 수렴 속도를 향상시키는 것.
• 계산 시간 측면에서만 아니라 반복 횟수 측면에서도 Gauss-Southwell 블록 좌표 강하가 경쟁력이 있음을 보여주는 것.
• 작은 워킹 세트에서의 내부 해법을 효율적으로 가능하게 하기 위해 그램 행렬을 사전 계산하는 것이 가능함을 보여주는 것.
• 공격적인 특징 제거와 최적의 블록 선택을 통해 Lasso 및 다중 작업 Lasso 문제에서 더 빠른 수렴을 달성하는 것.
• 기존 최신 기술 수준의 솔버들을 능가하는 확장 가능한 오픈소스 구현을 제공하는 것.

제안 방법

• 이 방법은 이중 문제에서 비활성 특징(또는 그룹)을 식별하고 영구히 제거하는 데 공격적인 Gap Safe 스크리닝 규칙을 사용하여 정확한 희소 해에 수렴함을 보장한다.
• 워킹 세트 전략을 통해 활성 특징의 집합을 점진적으로 확장하고, 각 단계에서 더 작은 부분 문제를 해결한다.
• 내부 솔버는 목적 함수의 감소량이 가장 큰 블록 좌표를 탐욕적으로 선택하는 Gauss-Southwell(GS) 규칙을 사용한다.
• GS-rB는 최적의 업데이트를 찾는 데 있어 작은 순환 블록 배치에 제한함으로써 효율성을 향상시킨다.
• 워킹 세트의 그램 행렬을 사전 계산하여 내부 루프 계산을 가속화한다.
• 내부 및 외부 루프에 적응형 임계값을 사용하는 이중성 갭 정지 기준을 사용한다.

실험 결과

연구 질문

• RQ1 Gap Safe 스크리닝 규칙이 Lasso 유형 솔버의 수렴 속도를 향상시키기 위해 워킹 세트 전략을 구성하는 데 효과적으로 사용될 수 있는가?
• RQ2 그램 행렬을 사전 계산하고 GS 규칙을 결합할 경우, 반복 횟수 외에도 벽시계 시간 측면에서 더 빠른 수렴이 이루어지는가?
• RQ3 실제로 GS-rB(배치화된 GS의 변형)의 성능은 순환 및 기타 BCD 전략과 비교해 어떻게 되는가?
• RQ4 제안된 방법이 표준 Lasso 및 다중 작업 Lasso 문제 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 워킹 세트 프레임워크에서 내부 솔버의 효율성에 그램 행렬의 사전 계산이 미치는 영향은 무엇인가?

주요 결과

• 그램 행렬 사전 계산과 함께 제안된 GS-rB 워킹 세트 솔버는 Leukemia 데이터셋에서 표준 순환 BCD 솔버보다 더 빠른 수렴을 달성했다.
• Leukemia 데이터셋에서, 이 방법은 0.3초 미만의 시간에 이중성 갭을 10−6 이하로 낮추었으며, scikit-learn 및 Blitz 구현보다 뛰어난 성능을 보였다.
• MEG 데이터에서 다중 작업 Lasso 문제(n=302, p=7498, q=181)에 대해, 이 방법은 순환 BCD보다 이중성 갭을 더 빠르게 감소시켜 6초 이내에 수렴했다.
• Gap Safe 규칙의 사용으로 인해 초기 단계에서 최대 90%의 특징을 제거할 수 있었으며, 이는 문제 크기를 크게 줄였다.
• 그램 행렬의 사전 계산은 내부 루프 해법의 속도를 크게 향상시켜 GS 규칙이 벽시계 시간 측면에서도 경쟁 가능하게 만들었다.
• 내부 부분 문제에서 이중성 갭이 30% 감소하였으며, 허용 오차 임계값 ϵ=0.3를 사용하여 전체 효율성이 향상되었다.