[논문 리뷰] GAP Safe screening rules for sparse multi-task and multi-class models

Eugène Ndiaye, Olivier Fercoq외 2명|arXiv (Cornell University)|2015. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 16

한 줄 요약

이 논문은 이중성 간격 계산을 활용하여 최적화 중에 불필요한 특징을 동적으로 안전하게 제거할 수 있는 GAP 안전 선별 규칙을 제안한다. 이는 희소 다중작업 및 다중분류 모델의 좌표강하 솔버를 크게 가속화하며, 특히 낮은 정규화 파rameter에서 더 이르고 더 적극적인 변수 선별을 가능하게 한다. 뇌 영상 및 텍스트 분류 작업을 포함한 고차원 데이터셋에서 성능 향상이 입증되었다.

ABSTRACT

High dimensional regression benefits from sparsity promoting regularizations. Screening rules leverage the known sparsity of the solution by ignoring some variables in the optimization, hence speeding up solvers. When the procedure is proven not to discard features wrongly the rules are said to be \emph{safe}. In this paper we derive new safe rules for generalized linear models regularized with $\ell_1$ and $\ell_1/\ell_2$ norms. The rules are based on duality gap computations and spherical safe regions whose diameters converge to zero. This allows to discard safely more variables, in particular for low regularization parameters. The GAP Safe rule can cope with any iterative solver and we illustrate its performance on coordinate descent for multi-task Lasso, binary and multinomial logistic regression, demonstrating significant speed ups on all tested datasets with respect to previous safe rules.

연구 동기 및 목표

• 고차원 희소 학습의 계산 병목 현상을 해결하기 위해 최적화 솔버의 가속화를 도모한다.
• 오류 제거의 위험 없이 불필요한 특징을 증명 가능하게 제거할 수 있는 안전한 선별 규칙을 개발한다.
• 기존의 안전 선별 방법을 ℓ1 및 ℓ1{ℓ2 정규화를 갖는 다중작업 및 다중분류 모델로 확장한다.
• 핵심 알고리즘 실행 중에 정적 사전 선별이 아닌 동적이고 반복적인 선별을 가능하게 한다.
• 일반선형모델의 좌표강하에서 수렴 속도 향상 및 활성집합 식별 개선을 도모한다.

제안 방법

• 이중성 간격 계산을 기반으로 한 통합 프레임워크를 제안하여 ℓ1 및 ℓ1{ℓ2 정규화 모델에 대한 안전한 선별 규칙를 유도한다.
• 이중 해의 중심을 기준으로 한 구형 안전 영역을 정의하며, 이들의 반지름은 이중성 간격이 감소함에 따라 0으로 수렴한다.
• 이중성 간격을 통해 이중 변수의 ℓ2 노름을 경계함으로써, 수축하는 안전 구내에 위치한 특징의 이중 성분을 안전하게 제거할 수 있다.
• 각 특징의 이중 벡터가 안전 영역 내에 있는지 확인함으로써, 이 규칙들을 임의의 반복적 솔버, 특히 좌표강하에 통합한다.
• 이중 해의 정확한 추정에 기반하여 안전성을 확보함으로써, 이중 해의 근사치에 의존하지 않는다.
• 최적화 과정 전반에 걸쳐 동적으로 규칙를 적용함으로써, 알고리즘이 수렴할수록 선별 효율성이 향상된다.

실험 결과

연구 질문

• RQ1 이중성 간격 기반의 선별 규칙는 ℓ1 및 ℓ1{ℓ2 정규화를 갖는 다중작업 및 다중분류 모델로 일반화될 수 있는가?
• RQ2 안전한 선별 규칙는 반복 최적화 과정 중에 어떻게 동적이고 적응적으로 구현될 수 있는가?
• RQ3 이중성 간격 기반의 안전 영역는 정적 또는 순차적 규칙에 비해 변수 선별에 얼마나 더 향상된 성능를 제공하는가?
• RQ4 제안된 방법은 고차원 환경에서 더 빠른 수렴과 감소된 계산 시간을 달성하는가?
• RQ5 기존의 좌표강하 솔버의 핵심 알고리즘을 수정하지 않고도 이 프레임워크를 효율적으로 통합할 수 있는가?

주요 결과

• MEG/EEG 데이터에서 GAP 안전 규칙는 비선별 및 이전의 동적 규칙 대비 다중작업 라소 경로를 해결하는 데 소요되는 시간을 최대 70%까지 감소시켜 빠른 계산 성능 향상을 보였다.
• Leukemia 데이터셋에서는 동적 GAP 안전 규칙이 순차적 선별 대비 계산 시간을 50% 이상 감소시켰으며, 모든 λ 값에서 더 빠른 수렴을 보였다.
• News20 데이터셋에서 ℓ1{ℓ2 다항로지스틱 회귀 모델에 대해 GAP 안전 규칙는 선별 없이 1,353초가 소요되던 총 계산 시간을 485초로 줄여 64%의 성능 향상을 달성했다.
• GAP 안전 규칙 하에서 반복 횟수가 증가할수록 활성 변수의 비율이 더 빠르게 감소하여 안전 영역의 수렴과 함께 선별 능력 향상을 입증했다.
• 특히 낮은 정규화 파rameter에서 더 적극적이고 신뢰할 수 있는 특징 제거가 가능하므로, 정적 및 순차적 안전 규칙보다 우수한 성능을 보였다.
• 밀도 있는 (뇌 영상) 및 희소한 (텍스트 분류) 데이터 유형에 걸쳐 뚜렷한 안정성을 보이며, 광범위한 적용 가능성을 확인했다.