[논문 리뷰] Breaking Locality Accelerates Block Gauss-Seidel

Stephen Tu, Shivaram Venkataraman외 4명|arXiv (Cornell University)|2017. 01. 14.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 10

한 줄 요약

이 논문은 블록 가우스-Seidel에서 무작위 좌표 샘플링을 통해 국소성을 깨뜨릴 경우, 가속 기법을 적용하더라도 고정 파artition 샘플링보다 유의미하게 뛰어난 성능을 보임을 보여준다. 저자들은 하위 블록이 잘 조건화되어 있을 경우 가속 기법의 이점을 캡처하는 데이터에 의존하는 새로운 매개변수 ν를 도입하였으며, 실증적으로 무작위 샘플링을 적용한 가속 가우스-Seidel이 대규모 머신러닝 작업에서 코그래디언 기반 방법 대비 최대 3.5배 빠르고, 고정 파artition 가우스-Seidel 대비 1.5배 빠른 성능을 기록함을 입증하였다.

ABSTRACT

Recent work by Nesterov and Stich showed that momentum can be used to accelerate the rate of convergence for block Gauss-Seidel in the setting where a fixed partitioning of the coordinates is chosen ahead of time. We show that this setting is too restrictive, constructing instances where breaking locality by running non-accelerated Gauss-Seidel with randomly sampled coordinates substantially outperforms accelerated Gauss-Seidel with any fixed partitioning. Motivated by this finding, we analyze the accelerated block Gauss-Seidel algorithm in the random coordinate sampling setting. Our analysis captures the benefit of acceleration with a new data-dependent parameter which is well behaved when the matrix sub-blocks are well-conditioned. Empirically, we show that accelerated Gauss-Seidel with random coordinate sampling provides speedups for large scale machine learning tasks when compared to non-accelerated Gauss-Seidel and the classical conjugate-gradient algorithm.

연구 동기 및 목표

• 고정 파artition 샘플링이 가속 블록 가우스-Seidel에 최적임을 전제로 하는 가정에 도전하기 위해.
• 국소성을 깨뜨리는 무작위 좌표 샘플링 하에서 가속 블록 가우스-Seidel의 수렴 속도를 분석하기 위해.
• 무작위 샘플링 환경에서 가속 기법의 이점을 정량화하는 데 사용할 수 있는 새로운 데이터 기반 매개변수 ν를 규명하기 위해.
• 추정 수열을 피하는 라플라스 함수 기반 증명 프레임워크를 개발하여 무작위 가속 방법을 일반적으로 분석하기 위해.
• 무작위 샘플링을 적용한 가속 가우스-Seidel이 대규모 머신러닝 문제에서 비가속 가우스-Seidel 및 코그래디언 기반 방법보다 뛰어난 성능을 보임을 실증적으로 검증하기 위해.

제안 방법

• 각 반복에서 새로운 무작위 블록을 샘플링하여 데이터 국소성을 깨뜨리는 무작위 블록 가우스-Seidel 알고리즘을 제안한다.
• 무작위 샘플링 모델에서 가속 기법의 이점을 측정하는 데 사용되는 새로운 매개변수 ν ≤ μ_rand⁻¹ 를 도입한다.
• 전통적인 추정 수열 접근법을 대체하기 위해 라플라스 함수 기반 증명 프레임워크를 사용하여 수렴성을 분석한다.
• 하위 블록이 잘 조건화되어 있을 경우 가속 기법이 상당한 속도 향상을 제공함을 보여주는 ν에 대한 경계를 유도한다.
• 동일한 증명 프레임워크를 활용해 랜덤화된 가속 카츠마르츠 알고리즘으로 결과를 확장한다.
• n=250,000 인 확장된 CIFAR-10 데이터셋을 사용한 커널 리지 회귀에서 성능을 실증적으로 평가한다.

실험 결과

연구 질문

• RQ1 무작위 좌표 샘플링을 통해 국소성을 깨뜨리는 것이 고정 파artition 샘플링보다 블록 가우스-Seidel의 수렴 속도를 빠르게 할 수 있는가?
• RQ2 무작위 좌표 샘플링 하에서 가속 블록 가우스-Seidel의 수렴 속도는 어떻게 되며, 고정 파artition 가속 기법과 비교해 볼 때 어떤가?
• RQ3 무작위 샘플링 환경에서 가속 기법의 이점을 캡처하는 새로운 데이터 기반 매개변수는 무엇인가?
• RQ4 라플라스 함수 기반 증명 프레임워크를 사용하여 무작위 가속 방법을 더 일반적으로 분석할 수 있는가?
• RQ5 대규모 머신러닝 작업에서 무작위 샘플링을 적용한 가속 가우스-Seidel이 고전적인 코그래디언 기반 방법보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 비가속 가우스-Seidel이 무작위 좌표 샘플링을 사용할 경우, 어떤 고정 파artition에서도 가속 가우스-Seidel보다 뛰어난 성능을 보이는 사례를 구성함으로써, 가속 기법이 열악한 샘플링에 의한 손실을 상쇄할 수 없음을 입증하였다.
• 무작위 샘플링 하에서 가속 블록 가우스-Seidel의 수렴 속도는 O(μ_rand⁻¹ log(1/ε)) 에서 O(√(ν μ_rand⁻¹) log(1/ε)) 로 향상됨을 보였다. 여기서 ν 는 새로운 데이터 기반 매개변수이다.
• 행렬 A의 하위 블록이 잘 조건화되어 있을 경우 ν 가 작아지며, 이는 이론적 경계에 의해 가속 기법이 상당한 속도 향상을 제공함을 확인하였다.
• 실증적으로, 무작위 샘플링을 적용한 가속 가우스-Seidel은 고정 파artition 가우스-Seidel 대비 최대 1.5배 빠르며, 코그래디언 기반 방법 대비 대규모 커널 리지 회귀 작업에서 3.5배 이상의 빠른 성능을 기록하였다.
• 제안된 라플라스 함수 기반 프레임워크는 기존의 가속 좌표 강하법 결과를 성공적으로 복원하였고, 블록 카츠마르츠 방법으로도 확장되었다.
• ν 에 대한 경계는 보수적인 편이므로, 잘 조건화된 하위 블록 환경에서는 이론적 예측보다 실제 응용에서 더 큰 성능 향상이 기대될 수 있음을 시사한다.