[논문 리뷰] Krylov Subspace Recycling for Fast Iterative Least-Squares in Machine Learning

Filip de Roos, Philipp Hennig|arXiv (Cornell University)|2017. 06. 01.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 3

한 줄 요약

이 논문은 기계학습에서 관련된 대칭 양의 정부호 선형 시스템의 시퀀스 간에 정보를 재사용함으로써 반복적 최소제곱 해법의 수렴 속도를 높이기 위해 Krylov 부분공간 재사용 기법을 제안한다. 저비용으로 시간이 지남에 따라 저랭크 부분공간을 적응적으로 갱신함으로써, 데이터 크기에 따라 계산 비용이 제곱수적으로 증가하는 근사해를 near-exact 수준으로 달성하며, 고정된 저랭크 근사법보다 정밀도가 뛰어나면서도 10⁵–10⁶개의 데이터 포인트에까지 확장 가능하다.

ABSTRACT

Solving symmetric positive definite linear problems is a fundamental computational task in machine learning. The exact solution, famously, is cubicly expensive in the size of the matrix. To alleviate this problem, several linear-time approximations, such as spectral and inducing-point methods, have been suggested and are now in wide use. These are low-rank approximations that choose the low-rank space a priori and do not refine it over time. While this allows linear cost in the data-set size, it also causes a finite, uncorrected approximation error. Authors from numerical linear algebra have explored ways to iteratively refine such low-rank approximations, at a cost of a small number of matrix-vector multiplications. This idea is particularly interesting in the many situations in machine learning where one has to solve a sequence of related symmetric positive definite linear problems. From the machine learning perspective, such deflation methods can be interpreted as transfer learning of a low-rank approximation across a time-series of numerical tasks. We study the use of such methods for our field. Our empirical results show that, on regression and classification problems of intermediate size, this approach can interpolate between low computational cost and numerical precision.

연구 동기 및 목표

• 기계학습에서 대칭 양의 정부호 선형 시스템의 정확한 해법이 데이터 크기에 따라 세제곱적으로 증가하는 높은 계산 비용을 해결하기 위함.
• 이전 해법에서 얻은 정보를 재사용함으로써 반복적 해법이 관련된 문제 시퀀스에 대해 적응적으로 작동할 수 있는지 탐색하기 위함.
• Krylov 부분공간 재사용 기법이 계산 비용이 낮은 근사 방법과 정확한 해법 사이의 실용적인 균형을 제공할 수 있는지 평가하기 위함.
• 실제 기계학습 워크로드에서 재사용 기반 반복적 해법의 성능을 표준 유도점 및 스펙트럼 근사 방법과 비교하기 위함.

제안 방법

• 이 방법은 이전 해법에서 얻은 Ritz 벡터를 재사용함으로써 후속 시스템에서 수렴 속도를 높이는, 반복적 Krylov 부분공간 방법인 deflated conjugate gradients(def-CG)를 사용한다.
• 이전 해법에서 유도된 저차원의 탐색 방향 부분공간을 유지하며, 이를 Krylov 반복에서 탈락시켜 효과적인 조건수를 감소시킨다.
• 알고리즘은 첫 번째 시스템에서 표준 CG 해법으로 초기화한 후, 계산된 Ritz 벡터를 후속 시스템에 대한 탈락 부분공간으로 사용한다.
• 탈락 부분공간은 반복 과정 동안 점진적으로 갱신되어, 전체 재계산 없이도 저랭크 근사의 정밀도를 점진적으로 향상시킨다.
• 이 방법은 헤시안 행렬 또는 커널 행렬이 점진적으로 변화하는 베이지안 로지스틱 회귀 및 가우시안 프로세스 분류에서 발생하는 선형 시스템의 시퀀스에 적용된다.
• CPU 시간과 상대 잔여 오차를 메트릭으로 사용하여, 표준 CG 및 고정된 저랭크 근사법(예: 유도점)과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 Krylov 부분공간 재사용 기법이 기계학습에서 관련된 대칭 양의 정부호 선형 시스템의 시퀀스를 해결하는 데에 소요되는 시간을 상당히 줄일 수 있는가?
• RQ2 재사용 기반 반복적 해법의 정밀도는 고정된 저랭크 근사법(예: 유도점)과 비교해 어떻게 되는가?
• RQ3 이전 해법에서 얻은 정보를 재사용함으로써 후속 시스템에서 반복 횟수와 효과적인 조건수가 얼마나 감소하는가?
• RQ4 재사용 기반 해법이 선형 비용 근사법과 유사한 계산 비용 내에서 고정밀도 해를 달성할 수 있는가?

주요 결과

• 탈락된 공액 그래디언트(def-CG)는 계산 비용이 다소 증가했음에도 불구하고, 유도점 방법 대비 정밀도를 6자리 수준으로 향상시켰다.
• 데이터 크기가 약 10⁵에서 약 10⁶인 경우, 계산이 가능했으며, 런타임이 데이터 크기에 따라 제곱수적으로 증가하는 경향을 보였다.
• 뉴턴 반복 과정에서 상대 잔여 오차가 더 빠르게 감소함으로써, 재사용된 부분공간이 효과적인 조건수를 낮추고 수렴 속도를 가속화함을 확인하였다.
• 유사한 계산 비용 내에서, def-CG는 유도점 방법이 사용하는 데이터의 25–50%를 사용할 때보다 로그우도 정확도에서 뛰어난 성능을 보였다.
• 다양한 회귀 및 분류 작업에서 일관된 성능 향상이 나타났으며, 특히 최적화 루프의 후반부 반복에서 두드러졌다.
• 이 방법은 계산 비용과 수치 정밀도 사이의 실용적인 균형을 제공하며, 정확한 해법과 고정된 저랭크 근사법 사이의 격차를 메운다.