[논문 리뷰] Faster Coordinate Descent via Adaptive Importance Sampling

Dmytro Perekrestenko, Volkan Cevher외 1명|arXiv (Cornell University)|2017. 03. 07.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

이 논문은 볼록 최적화에서 좌표 강하(coordinate descent)에 대한 적응형 중요도 샘플링 규칙을 도입하며, 이중 잔차(dual residual)와 원시-이중 갭(primar-dual gap) 추정치를 사용하여 선택 확률을 동적으로 조정한다. 일반 볼록 설정에서 적응형 샘플링에 대한 최초의 수렴 속도 분석을 제공하며, Lasso와 허그 손실 SVM에서 균일 샘플링 및 고정 비균일 샘플링보다 실질적인 수렴 속도 향상을 보여준다.

ABSTRACT

Coordinate descent methods employ random partial updates of decision variables in order to solve huge-scale convex optimization problems. In this work, we introduce new adaptive rules for the random selection of their updates. By adaptive, we mean that our selection rules are based on the dual residual or the primal-dual gap estimates and can change at each iteration. We theoretically characterize the performance of our selection rules and demonstrate improvements over the state-of-the-art, and extend our theory and algorithms to general convex objectives. Numerical evidence with hinge-loss support vector machines and Lasso confirm that the practice follows the theory.

연구 동기 및 목표

• 대규모 볼록 최적화를 위한 좌표 강하 방법의 수렴 속도를 향상시키기 위해 반복 과정에서 샘플링 확률을 적응적으로 조정하는 것.
• 시간이 지남에 따라 변화하는 이중 잔차와 원시-이중 갭 추정치를 기반으로 하는 샘플링 규칙을 개발하는 것.
• 비강한 볼록 정규화를 갖는 일반 볼록 문제에서 적응형 샘플링에 대한 최초의 수렴 속도 분석을 제공하는 것.
• Lasso, SVM, 로지스틱 회귀 등 광범위한 문제 클래스로 이론적 결과를 확장하는 것.
• rcv1와 같은 실제 데이터셋에서의 실험적 검증을 통해 뚜렷한 성능 향상을 확보하는 것.

제안 방법

• 원시-이중 프레임워크를 사용하여 이중 갭과 이중 잔차를 정의하고, 이를 적응형 샘플링의 지표로 활용한다.
• 이중 잔차가 크거나 갭 기여도가 높은 좌표를 우선적으로 선택하는 적응형 확률 분포를 도입한다.
• 각 반복 단계에서 현재의 이중 잔차 크기를 기반으로 선택 확률을 업데이트하는 동적 샘플링 전략을 구현한다.
• 표준 SDCA 틀인 min_α f(Aα) + Σg_i(α_i)에 적용하며, 미분 가능한 f와 일반적인 볼록 g_i를 다룬다.
• 임의의 샘플링 분포에 대해 강한 볼록 및 일반 볼록 케이스 모두에서 수렴 보장을 도출한다.
• 사용자 정의 확률 계산 방식에 따라 다릅니다: ada-uniform, ada-gap, supportSet-uniform, adaptive의 네 가지 변형을 구현한다.

실험 결과

연구 질문

• RQ1 이중 잔차 또는 이중 갭 기반의 적응형 샘플링이 일반 볼록 문제의 좌표 강하에서 수렴을 향상시킬 수 있는가?
• RQ2 반복 단계에 따라 변화하는 샘플링 규칙을 갖는 좌표 강하의 이론적 수렴 속도는 무엇인가?
• RQ3 실제로 적응형 샘플링 규칙이 고정 비균일 및 균일 샘플링과 비교하여 어떻게 성능을 냈는가?
• RQ4 제안된 방법이 SVM과 Lasso를 초월한 광범위한 기계학습 문제에 일반화될 수 있는가?
• RQ5 적응형 확률 계산의 계산 오버헤드는 얼마이며, 성능 향상에 비례하는가?

주요 결과

• 제안된 적응형 샘플링 규칙은 이론적·실증적으로 균일 샘플링 및 고정 비균일 샘플링보다 더 빠른 수렴을 달성한다.
• 비강한 볼록 정규화를 갖는 일반 볼록 문제에서 적응형 좌표 강하에 대한 최초의 수렴 속도 분석을 제공한다.
• rcv1 데이터셋에 대한 수치 결과는 Lasso와 SVM에서 이중 갭 감소와 부적합도 감소 측면에서 뚜렷한 향상을 보였다.
• ada-gap 및 ada-uniform 변형은 표준 SDCA 및 고정 샘플링 기반 베이스라인보다 수렴 속도 측면에서 뛰어난 성능을 보였다.
• 적응형 샘플링 전략은 이중 갭 기여도가 가장 큰 좌표에 업데이트를 집중시켜 수렴 속도를 가속화하는 데 효과적이다.
• 이론적 분석은 기존의 고정 비균일 및 균일 샘플링 결과를 특수 케이스로 회복한다.