[논문 리뷰] Efficient Greedy Coordinate Descent for Composite Problems

Sai Praneeth Karimireddy, Anastasiia Koloskova외 2명|arXiv (Cornell University)|2018. 10. 16.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 하위기울기 기반의 새로운 가장 기울기 좌표 선택 규칙을 도입하여, 라소 및 서포트 벡터 머신(SVMs)과 같은 비스무스 컴posit 문제를 위한 효율적인 게으른 좌표 강하 방법을 제안한다. 이 방법은 차원 n에 관계없이 선형 수렴 속도를 달성하며, 선택 과정을 최대 내적 검색(MIPS)으로 매핑하여 근사 근접 이웃 알고리즘을 활용한 확장 가능한 구현을 가능하게 하고, 실제 적용에서 균일한 좌표 강하보다 뚜렷한 속도 향상을 보인다.

ABSTRACT

Coordinate descent with random coordinate selection is the current state of the art for many large scale optimization problems. However, greedy selection of the steepest coordinate on smooth problems can yield convergence rates independent of the dimension $n$, and requiring upto $n$ times fewer iterations. In this paper, we consider greedy updates that are based on subgradients for a class of non-smooth composite problems, which includes $L1$-regularized problems, SVMs and related applications. For these problems we provide (i) the first linear rates of convergence independent of $n$, and show that our greedy update rule provides speedups similar to those obtained in the smooth case. This was previously conjectured to be true for a stronger greedy coordinate selection strategy. Furthermore, we show that (ii) our new selection rule can be mapped to instances of maximum inner product search, allowing to leverage standard nearest neighbor algorithms to speed up the implementation. We demonstrate the validity of the approach through extensive numerical experiments.

연구 동기 및 목표

• 비스무스 복합 최적화 문제에서 게으른 좌표 강하의 이론적 이해 부족과 실용적 효율성 부족 문제를 해결하기 위해.
• 스무스 설정과 유사한 선형 수렴 속도를 복합 문제에 대해 게으른 방법에 대해 유도하며, 문제의 차원 n과 무관하게 독립적으로 유지하기 위해.
• 가장 기울기 좌표 선택을 최대 내적 검색(MIPS)으로 매핑하여 게으른 좌표 강하의 확장 가능한 구현을 가능하게 하기 위해.
• 광범위한 실험을 통해 제안된 방법이 반복 횟수와 월클럭 시간 모두에서 균일한 좌표 강하보다 뛰어난 성능을 보임을 입증하기 위해.
• 근사된 게으른 방향과 적응형 부분집합 선택의 수렴성 및 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 복합 문제에 대해 하위기울기를 기반으로 한 새로운 게으른 좌표 선택 전략인 가우스-서던웰(GS-s) 규칙을 도입한다.
• GS-s 규칙이 복합 문제의 일정한 클래스에 대해 선형 수렴 속도를 보임을 증명하며, 이는 문제의 차원 n과 무관함을 보여준다.
• 가장 기울기 좌표 계산을 최대 내적 검색(MIPS) 문제로 매핑하여, LSH 및 nmslib와 같은 효율적인 근사 알고리즘의 사용이 가능하도록 한다.
• 성능 유지와 함께 계산 비용을 줄이기 위해 적응형 부분집합 선택을 도입하며, 정확도에 미치는 영향이 미미함을 이론적으로 정당화한다.
• 최신 MIPS 라이브러리(FALCONN, nmslib)를 활용해 구현 및 평가하여 확장 가능하고 효율적인 최적화를 달성한다.
• 근사된 게으른 방향 계산이 수렴에 미치는 영향을 분석하여, 중간 정도의 오차에 대해서도 강건함을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 비스무스 복합 문제에서 게으른 좌표 강하가 문제의 차원 n에 관계없이 선형 수렴 속도를 달성할 수 있는가?
• RQ2 GS-s 게으른 규칙이 라소 및 SVMs와 같은 복합 문제에서 균일한 좌표 강하보다 증명 가능한 속도 향상을 이룰 수 있는가?
• RQ3 가장 기울기 좌표 선택 단계를 기존의 근사 근접 이웃 알고리즘을 통해 효율적으로 구현할 수 있는가?
• RQ4 적응형 부분집합 선택은 게으른 좌표 강하 방법의 성능과 수렴에 어떤 영향을 미치는가?
• RQ5 근사된 MIPS를 사용할 경우 반복 횟수와 월클럭 시간 사이의 경험적 트레이드오프는 어떠한가?

주요 결과

• 제안된 게으른 좌표 강하 방법은 문제의 차원 n과 무관하게 선형 수렴 속도를 달성하며, 스무스 문제에서의 가장 기울기 강하 이론적 이점을 복합 문제로 확장한다.
• GS-s 규칙은 반복 횟수 측면에서 균일한 좌표 강하보다 뚜렷이 뛰어나며, 특히 초기 반복 단계에서 최대 n배의 속도 향상을 보인다.
• 경쟁적인 월클럭 시간 성능을 달성하였으며, steepest-LSH 및 steepest-nn는 대규모 문제에서 초기 단계에서 균일한 강하보다 뛰어난 성능을 보였다.
• 근사된 MIPS 솔버(FALCONN, nmslib 등)의 사용은 확장 가능한 구현을 가능하게 하였으며, 적응형 부분집합 선택은 해의 품질에 거의 영향을 주지 않았다.
• 수치 실험 결과, steepest-NN를 통해 구한 해는 균일한 강하에 비해 훨씬 더 흐문(스parser) 해를 제공함을 확인하였으며, 이는 SVM과 같은 응용 분야에서 지지 벡터 수를 줄이는 데 유리하다.
• 정교한 하이퍼파rameter 튜닝에도 불구하고, nmslib와 LSH 기반의 MIPS 솔버는 정확한 방법에 비해 성능이 뒤처져 있어, 이 설정에서 근사된 MIPS 알고리즘의 향상 여지가 있음을 시사한다.