[논문 리뷰] Faster Least Squares Optimization

Jonathan Lacotte, Mert Pilancı|arXiv (Cornell University)|2019. 11. 06.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 14

한 줄 요약

이 논문은 최소제곱 최적화를 가속화하기 위한 랜덤화 전치법에 대한 이론적 분석을 제안하며, 고정된 전치법과 갱신되는 스케칭 기반 전치법을 비교한다. 반복 헤시안 스케칭(IHS)에 대해 갱신되는 스케칭을 사용할 경우의 기대 수렴 속도에 대한 닫힌 형태의 표현식을 유도하고, 헤비볼트 모멘타임이 이 속도를 향상시킬 수 없음을 보여, 최적의 스케칭 크기를 갖춘 전치된 공액상승법(PCG)이 최신의 계산 복잡도를 달성하기 위해 권장됨을 제시한다.

ABSTRACT

We investigate iterative methods with randomized preconditioners for solving overdetermined least-squares problems, where the preconditioners are based on a random embedding of the data matrix. We consider two distinct approaches: the sketch is either computed once (fixed preconditioner), or, the random projection is refreshed at each iteration, i.e., sampled independently of previous ones (varying preconditioners). Although fixed sketching-based preconditioners have received considerable attention in the recent literature, little is known about the performance of refreshed sketches. For a fixed sketch, we characterize the optimal iterative method, that is, the preconditioned conjugate gradient as well as its rate of convergence in terms of the subspace embedding properties of the random embedding. For refreshed sketches, we provide a closed-form formula for the expected error of the iterative Hessian sketch (IHS), a.k.a. preconditioned steepest descent. In contrast to the guarantees and analysis for fixed preconditioners based on subspace embedding properties, our formula is exact and it involves the expected inverse moments of the random projection. Our main technical contribution is to show that this convergence rate is, surprisingly, unimprovable with heavy-ball momentum. Additionally, we construct the locally optimal first-order method whose convergence rate is bounded by that of the IHS. Based on these theoretical and numerical investigations, we do not observe that the additional randomness of refreshed sketches provides a clear advantage over a fixed preconditioner. Therefore, we prescribe PCG as the method of choice along with an optimized sketch size according to our analysis. Our prescribed sketch size yields state-of-the-art computational complexity for solving highly overdetermined linear systems. Lastly, we illustrate the numerical benefits of our algorithms.

연구 동기 및 목표

• 초과정규화된 최소제곱 문제에서 랜덤화된 전치된 반복 방법에 대한 통합 이론적 프레임워크를 제공하는 것.
• 반복 해법기에서 고정된 전치법과 갱신되는 스케칭 기반 전치법의 수렴 행동을 비교하는 것.
• 갱신되는 스케칭의 추가적인 랜덤성이 고정 전치법 대비 수렴을 향상시키는지 여부를 규명하는 것.
• 독립 동일분포(i.i.d.) 스케칭 행렬을 사용한 반복 헤시안 스케칭(IHS)의 정확한 수렴 속도를 유도하는 것.
• 다양한 전치법 하에서 최적의 일阶 및 공액상승법을 식별하는 것.

제안 방법

• 최소제곱 문제에서 헤시안 행렬 $ H = A^ op A $ 를 전치하기 위해 데이터에 무관한 랜덤 임bedding(스케칭)을 사용한다.
• 두 가지 설정을 분석한다: 고정된 스케칭 행렬 $ S $ 와 각 반복마다 독립적으로 갱신되는 스케칭 행렬 $ S_t $.
• 랜덤 프로젝션의 기대 역행렬 모멘트를 사용하여 반복 헤시안 스케칭(IHS)의 기대 오차에 대한 닫힌 형태의 공식을 유도한다.
• IHS의 수렴 속도를 상한하는 국소적으로 최적의 일阶 방법을 통해 제안된 최적의 반복 방법을 특성화한다.
• 헤비볼트 모멘타임이 붙은 IHS(Polyak-IHS)와의 비교를 통해, IHS 수렴 속도를 향상시킬 수 없음을 보여준다.
• 제안된 방법을 유연하고 근사적인 전치된 공액상승법에 연결한다.

실험 결과

연구 질문

• RQ1 갱신되는 스케칭이 최소제곱 최적화에서 고정 전치법 대비 증명 가능한 수렴 이점을 제공할 수 있는가?
• RQ2 i.i.d. 스케칭 행렬을 사용한 반복 헤시안 스케칭(IHS)의 정확한 기대 수렴 속도는 무엇인가?
• RQ3 헤비볼트 모멘타임은 갱신되는 스케칭을 사용한 IHS의 수렴을 가속화하는 데 효과적인가?
• RQ4 이dealized RAM 모델에서 계산 복잡도를 최소화하는 최적의 스케칭 크기는 무엇인가?
• RQ5 고정 전치법을 사용한 PCG와 비교할 때 IHS의 수렴 특성은 어떻게 되는가?

주요 결과

• 갱신되는 스케칭을 사용한 반복 헤시안 스케칭(IHS)의 기대 수렴 속도는 랜덤 프로젝션 행렬의 기대 역행렬 모멘트를 포함하는 닫힌 형태의 표현식으로 주어진다.
• 헤비볼트 모멘타임은 갱신되는 스케칭을 사용한 IHS의 수렴 속도를 향상시킬 수 없으며, 이 설정에서는 향상이 불가능하다.
• 국소적으로 최적의 일阶 방법은 IHS의 수렴 속도를 상한하며, 다양한 전치법을 갖는 일阶 방법의 이론적 기준을 제공한다.
• 수치적 결과는 실무에서 갱신되는 스케칭이 고정 전치법에 비해 명백한 이점이 없음을 보여준다.
• 최적의 스케칭 크기를 갖춘 전치된 공액상승법(PCG)은 극도로 초과정규화된 시스템에서 플롭 수 측면에서 최신의 계산 복잡도를 달성한다.
• 이론적 및 실증적 분석에 기반해, 논문은 최적의 스케칭 크기를 갖춘 PCG를 선택 방법으로 제안한다.