[논문 리뷰] Dual Extrapolation for Faster Lasso Solvers

Mathurin Massias, Alexandre Gramfort외 1명|arXiv (Cornell University)|2018. 02. 21.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 1

한 줄 요약

이 논문은 Lasso 솔버의 수렴 속도를 높이기 위해 이중 외삽 기법을 도입한다. 이 기법은 최적화 과정에서 생성된 이중 반복값의 수열을 바탕으로 개선된 이중 점을 생성함으로써 이중 간격 추정을 향상시키고, Gap Safe 스크리닝 규칙을 더 적극적으로 적용할 수 있도록 한다. 이로 인해 기존 최첨단 기법들에 비해 더 빠른 수렴 속도와 뛰어난 시간 성능을 달성한다.

ABSTRACT

Convex sparsity-inducing regularizations are ubiquitous in high-dimension machine learning, but their non-differentiability requires the use of iterative solvers. To accelerate such solvers, state-of-the-art approaches consist in reducing the size of the optimization problem at hand. In the context of regression, this can be achieved either by discarding irrelevant features (screening techniques) or by prioritizing features likely to be included in the support of the solution (working set techniques). Duality comes into play at several steps in these techniques. Here, we propose an extrapolation technique starting from a sequence of iterates in the dual that leads to the construction of an improved dual point. This enables a tighter control of optimality as used in stopping criterion, as well as better screening performance of Gap Safe rules. Finally, we propose a working set strategy based on an aggressive use of Gap Safe rules and our new dual point construction, which improves state-of-the-art time performance on Lasso problems.

연구 동기 및 목표

• 비가역적 정규화로 인해 느려지는 Lasso 문제의 반복적 솔버의 속도를 향상시키기 위해.
• Lasso 최적화에서 더 엄격한 정지 기준을 확보하기 위해 이중 간격 추정의 정확도를 향상시키기 위해.
• 이중 외삽을 통해 더 엄격한 이중 간격 한계를 활용하여 스크리닝 성능을 향상시키기 위해.
• 개선된 이중 점 추정에 의해 가능해지는 Gap Safe 규칙을 적극적으로 활용하는 워킹 세트 전략을 개발하기 위해.

제안 방법

• 이 방법은 최적화 과정에서 생성된 이중 반복값의 수열을 외삽하여 새로운 이중 점을 구성한다.
• 외삽된 이중 점에서 유도된 이중 간격을 사용하여 최적성 증명을 정밀하게 개선함으로써 정지 기준의 정확도를 향상시킨다.
• 개선된 이중 간격 추정은 Gap Safe 규칙의 성능을 향상시키며, 이는 최적화 초기 단계에서 관련이 없는 특징을 조기에 제거할 수 있도록 한다.
• 더 엄격한 이중 간격을 기반으로 동적으로 특징을 선택하는 적극적인 워킹 세트 전략을 제안하며, 반복적으로 문제 크기를 줄인다.
• 이 접근법은 외삽, 스크리닝, 워킹 세트 선택 전반에 걸쳐 이중성을 활용하여 일관성과 더 나은 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 이중 외삽은 Lasso 솔버에서 이중 간격 추정의 정확도를 향상시킬 수 있는가?
• RQ2 이중 외삽은 특징 제거 과정에서 Gap Safe 스크리닝 규칙의 성능을 어떻게 향상시키는가?
• RQ3 개선된 이중 간격에 기반한 적극적인 워킹 세트 전략은 Lasso 최적화의 속도를 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 방법은 기존 최첨단 솔버들에 비해 Lasso 문제에서 런타임 측면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 이중 외삽 기법은 더 엄격한 이중 간격 추정을 생성하여 Lasso 솔버에서 더 신뢰할 수 있는 정지 기준을 가능하게 한다.
• 개선된 이중 간격 추정은 Gap Safe 규칙의 스크리닝 성능을 크게 향상시켜 조기에 더 적극적인 특징 제거를 가능하게 한다.
• 이중 외삽과 적극적인 워킹 세트 선택의 조합은 기존 방법들에 비해 Lasso 문제에서 더 빠른 수렴을 이룬다.
• 더 향상된 이중 기반 스크리닝을 통해 더 효율적으로 문제 크기를 줄임으로써, 이 방법은 더 뛰어난 시간 성능을 달성한다.