[논문 리뷰] Preconditioning Kernel Matrices

Kurt Cutajar, Michael A. Osborne외 2명|arXiv (Cornell University)|2016. 02. 22.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 22

한 줄 요약

이 논문은 커널 머신에 대해 저랭크 및 구조적 근사법을 사용한 커널 행렬의 조건수 개선을 위한 전처리 조건부 공액 그래디언트(Preconditioned Conjugate Gradient, PCG) 방법을 제안한다. 이는 수렴 속도를 가속화하며, O(n²) 복잡도로 가우시안 프로세스의 정확한 추론을 가능하게 하며, 최신의 근사 방법과 콜레스키 분해보다 정확도와 확장성 면에서 뛰어나다.

ABSTRACT

The computational and storage complexity of kernel machines presents the primary barrier to their scaling to large, modern, datasets. A common way to tackle the scalability issue is to use the conjugate gradient algorithm, which relieves the constraints on both storage (the kernel matrix need not be stored) and computation (both stochastic gradients and parallelization can be used). Even so, conjugate gradient is not without its own issues: the conditioning of kernel matrices is often such that conjugate gradients will have poor convergence in practice. Preconditioning is a common approach to alleviating this issue. Here we propose preconditioned conjugate gradients for kernel machines, and develop a broad range of preconditioners particularly useful for kernel matrices. We describe a scalable approach to both solving kernel machines and learning their hyperparameters. We show this approach is exact in the limit of iterations and outperforms state-of-the-art approximations for a given computational budget.

연구 동기 및 목표

• 대규모 데이터셋에 대해 커널 머신의 높은 계산 및 저장 비용을 해결하기 위해.
• 커널 행렬의 악조건화로 인해 커널 방법에서 공액 그래디언트(CG)의 수렴 속도가 느려지는 문제를 해결하기 위해.
• 커널 하이퍼파rameter 학습 및 예측을 위한 확장 가능하고 정확한 프레임워크를 개발하기 위해.
• 완전한 커널 행렬을 저장하지 않고도 반복적 방법(예: CG/PCG)을 사용할 수 있도록 지원하기 위해, 분산 처리 및 실시간 계산을 가능하게 하기 위해.

제안 방법

• 저랭크 및 구조적 근사법과 같은 다양한 커널 행렬 근사법을 사용하여 커널 행렬의 조건수를 향상시키는 전처리 조건자(preconditioner)로 적용한다.
• 이러한 전처리 조건자를 사용하여 선형 시스템을 해결하기 위해 반복적 공액 그래디언트 솔버를 사용하며, K나 그 요인을 저장하지 않고 그램 행렬을 포함한 선형 시스템을 푼다.
• 모든 인수 분해 가능 likelihood에 대해 로그-주변 가능도의 편향 없는 확률적 기울기 추정기(estimator)를 개발한다.
• L-BFGS와 함께 무작위 벡터를 통한 추적 추정치(trace estimate)를 사용하여 커널 하이퍼파rameter 최적화 파ip라인에 PCG를 통합한다.
• 정확한 추론(반복 횟수가 무한에 가까워질 경우)과 실시간 또는 분산 커널 계산을 통해 확장 가능한 계산을 지원하는 프레임워크를 구현한다.
• 반복적 솔버의 수렴 속도를 가속화하기 위해 전처리 조건자를 활용하여 정확한 해를 얻기 위해 필요한 반복 횟수를 줄인다.

실험 결과

연구 질문

• RQ1 적절한 전처리 조건자가 적용된 조건부 공액 그래디언트(PCG) 방법은 가우시안 프로세스의 커널 행렬 시스템에서 표준 CG보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 저랭크 및 구조적 근사법으로 얻은 커널 행렬 근사가 반복적 솔버의 효과적인 전처리 조건자로 얼마나 효과적인가?
• RQ3 커널 하이퍼파rameter 최적화에서 PCG 기반 방법은 정확도와 계산 효율성 면에서 최신의 근사 방법보다 뛰어나게 성능을 내는가?
• RQ4 완전한 커널 행렬을 저장하지 않고도 PCG를 사용해 가우시안 프로세스에서 정확한 추론을 달성할 수 있는가? 이는 대규모 데이터셋에 대한 확장성 가능성을 보장하는가?
• RQ5 중간 크기의 데이터셋에서 PCG의 정확도 및 런타임 성능가 장점이 정확한 콜레스키 분해와 비교해 어떻게 나타나는가?

주요 결과

• 적절한 전처리 조건자를 사용한 PCG는 근사 방법과 달리 반복 횟수가 무한에 가까워질 경우 가우시안 프로세스에서 정확한 추론을 달성한다.
• 제안된 PCG 프레임워크는 주어진 계산 예산 내에서 최신의 근사 방법(FITC, PITC, VAR 등)보다 정확도와 계산 효율성 면에서 뛰어나다.
• 커널 행렬을 저장할 수 있는 데이터셋에서는 PCG가 콜레스키 분해와 경쟁 가능한 성능을 보이며, 전처리 조건자가 효과가 있을 경우 더 빠른 수렴 속도를 보인다.
• 확률적 기울기와 편향 없는 추적 추정치를 사용한 커널 하이퍼파rameter 최적화가 확장 가능하며, 이는 회귀 및 분류 모두에 적용 가능하다.
• PCG는 전체 커널 행렬을 저장할 필요가 없어, 대규모 환경에서 분산 처리 또는 실시간 계산에 적합하다.
• 실험적 평가 결과, 전처리 조건자를 적용한 PCG가 수렴에 필요한 반복 횟수를 줄여 표준 CG 및 근사 방법보다 런타임 성능을 향상시킨다.