[논문 리뷰] Dual Extrapolation for Sparse Generalized Linear Models

Mathurin Massias, Samuel Vaiter외 2명|arXiv (Cornell University)|2019. 07. 12.

Sparse and Compressive Sensing Techniques참고 문헌 67인용 수 8

한 줄 요약

이 논문은 희소 일반화선형모형(GLM)을 위한 이중 외삽법을 소개한다. 이는 프록시멀 그라디언트 또는 순환좌표강하에서 부호 식별 이후 이중 반복값의 벡터 자기회귀(VAR) 행동을 활용한다. 이 방법은 최소한의 계산 오버헤드로 더 날카운 이중 증명을 구성함으로써 걸러내기 규칙과 워킹세트 알고리즘의 속도를 높이며, 라소, 로지스틱 회귀, 다중작업 라소 문제에서 해를 구하는 데 있어 해를 훨씬 빠르게 얻을 수 있다.

ABSTRACT

Generalized Linear Models (GLM) form a wide class of regression and classification models, where prediction is a function of a linear combination of the input variables. For statistical inference in high dimension, sparsity inducing regularizations have proven to be useful while offering statistical guarantees. However, solving the resulting optimization problems can be challenging: even for popular iterative algorithms such as coordinate descent, one needs to loop over a large number of variables. To mitigate this, techniques known as screening rules and working sets diminish the size of the optimization problem at hand, either by progressively removing variables, or by solving a growing sequence of smaller problems. For both techniques, significant variables are identified thanks to convex duality arguments. In this paper, we show that the dual iterates of a GLM exhibit a Vector AutoRegressive (VAR) behavior after sign identification, when the primal problem is solved with proximal gradient descent or cyclic coordinate descent. Exploiting this regularity, one can construct dual points that offer tighter certificates of optimality, enhancing the performance of screening rules and helping to design competitive working set algorithms.

연구 동기 및 목표

• 표준 이중 반복값 구성의 비효율성으로 인해 걸러내기 규칙과 워킹세트 방법의 성능이 제한되는 문제를 해결하기 위해.
• 수렴 속도가 빠른 이중 반복값을 원칙적이고 저비용으로 생성하여 최적성 증명을 향상시키기 위해.
• Celer 이중 외삽 프레임워크를 라소에서 로지스틱 회귀 및 다중작업 라소를 포함한 광범위한 GLM 클래스로 일반화하기 위해.
• 이중 외삽법이 계산 비용을 증가시키지 않으면서도 Gap Safe 걸러내기 및 워킹세트 정책을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 프록시멀 그라디언트 강하 또는 순환좌표강하에서 부호 식별 이후 이중 반복값의 벡터 자기회귀(VAR) 행동을 활용한다.
• Scieur 등(2016)의 영감을 얻은 외삽 절차를 적용하여 원시 반복값에서 개선된 이중 점을 구성한다.
• 이중 외삽을 통해 이중 간격 추정치를 강화하여 비활성 변수를 더 이르고 신뢰성 있게 식별할 수 있도록 한다.
• 개선된 이중 점을 Gap Safe 규칙과 워킹세트 알고리즘에 통합하여 수렴 속도를 가속화한다.
• 이중 외삽 시퀀스를 초기화하기 위해 좌표강하 단계를 도입함으로써 Celer 프레임워크를 프록시-뉴턴 솔버에 적응시킨다.
• 볼록 쌍대성을 활용하여 표준 이중 반복값 근사보다 더 날카운 최적성 증명을 유도한다.

실험 결과

연구 질문

• RQ1 희소 GLM 솔버에서 부호 식별 이후 이중 반복값은 벡터 자기회귀(VAR) 과정으로 모델링될 수 있는가?
• RQ2 이중 외삽법은 희소 GLM에서 걸러내기 규칙과 워킹세트 방법의 성능을 상당히 향상시키는가?
• RQ3 이중 외삽 프레임워크는 라소를 초월하여 로지스틱 회귀 및 다중작업 라소와 같은 다른 GLM으로 일반화될 수 있는가?
• RQ4 이중 외삽의 계산 비용은 얼마이며, 수렴 및 최적성 증명 향상과 함께 여전히 낮은가?
• RQ5 이중 외삽법은 2차 수렴 솔버인 Prox-Newton과 어떻게 상호작용하며, 효율성을 유지하기 위해 어떤 수정이 필요한가?

주요 결과

• 프록시멀 그라디언트 및 순환좌표강하에서 부호 식별 이후 이중 반복값은 안정적인 벡터 자기회귀(VAR) 행동를 보이며, 이는 외삽 가능성을 보장한다.
• 금융 데이터셋에서 고정밀도 라소 문제에 대해 scikit-learn의 기본 좌표강하보다 이중 외삽법이 계산 시간을 최대 30배까지 단축시킨다.
• news20 데이터셋에서 로지스틱 회귀 문제에 대해 Gap Safe 규칙과 함께 이중 외삽법을 적용하면 비외삽 기반 방법 대비 경로 계산 시간을 최대 5배 단축시킨다.
• MEG 데이터에서 다중작업 라소 문제에 대해 Celer의 워킹세트 정책은 이중 외삽법으로 개선되었으며, 더 적은 반복 수로 더 빠른 수렴을 달성한다.
• 프록시-뉴턴 솔버와 함께 사용할 경우, 이중 외삽법은 이중 시퀀스를 초기화하기 위해 추가적인 좌표강하 단계가 필요하며, 이는 성능 향상의 일부를 상쇄하지만 여전히 전체 효율성을 향상시킨다.
• 이 방법은 수렴 보장을 유지하면서 더 날카운 이중 간격 추정치를 제공하여 조기 종료 및 더 공격적인 변수 걸러내기 가능성을 높인다.