[논문 리뷰] Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)

Maurizio Filippone, Raphael Engler|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|2015. 01. 22.

Gaussian Processes and Bayesian Inference참고 문헌 47인용 수 11

한 줄 요약

이 논문은 스 tochastic Gradient Langevin Dynamics (SGLD)와 Unbiased Linear System Solver (ULISSE)를 결합하여 가우시안 프로세스(GP) 공분산 매개변수에 대한 확장 가능하고 편향 없는 추론 방법을 제안한다. ULISSE는 공분산 행렬의 선형 시스템을 푸는 공역 기반 반복 알고리즘의 반복을 편향 없이 조기 종료할 수 있게 해주며, 이로 인해 대규모 데이터셋에서 정확한 몬테카를로 샘플링이 가능해진다. 이는 표준 하드웨어에서 22,784개의 샘플을 가진 인구 조사 데이터셋에 대해 하루 이내에 구현되었다.

ABSTRACT

In applications of Gaussian processes where quantification of uncertainty is of primary interest, it is necessary to accurately characterize the posterior distribution over covariance parameters. This paper proposes an adaptation of the Stochastic Gradient Langevin Dynamics algorithm to draw samples from the posterior distribution over covariance parameters with negligible bias and without the need to compute the marginal likelihood. In Gaussian process regression, this has the enormous advantage that stochastic gradients can be computed by solving linear systems only. A novel unbiased linear systems solver based on parallelizable covariance matrix-vector products is developed to accelerate the unbiased estimation of gradients. The results demonstrate the possibility to enable scalable and exact (in a Monte Carlo sense) quantification of uncertainty in Gaussian processes without imposing any special structure on the covariance or reducing the number of input vectors.

연구 동기 및 목표

• 불확실성 정량화가 중요한 맥락에서 확장 가능하고 정확한 베이지안 추론을 수행하는 데 도전하는 문제를 해결한다.
• 기존 MCMC 방법이 O(n³) 복잡도로 비용이 많이 드는 주변 가능도 계산이 필요로 하는 계산적 병목 현상을 해결한다.
• 공분산 행렬에 특수한 구조를 도입하거나 데이터 크기를 줄이지 않아도 되는 실용적인 추론을 가능하게 한다.
• 반복적 선형 해법기의 조기 종료를 통해 편향 없는 추론을 유지하면서도 높은 계산 효율성을 확보하는 방법을 개발한다.
• 표준 데스크톱 하드웨어에서 실세계 대규모 데이터셋에 대한 GP 회귀에서 전체 불확실성 정량화가 가능한지 실증한다.

제안 방법

• 주변 가능도를 계산하지 않고도 GP 공분산 매개변수의 사후 분포에서 샘플링할 수 있도록 Stochastic Gradient Langevin Dynamics (SGLD)를 수정한다.
• 공역 기반 반복 알고리즘인 Conjugate Gradient (CG) 알고리즘을 사용해 선형 시스템을 풀어 스 tochastic 기울기를 계산한다. 이는 병렬 처리 가능한 공분산 행렬-벡터 곱(CMVP)에 의존한다.
• CG 반복을 조기 종료해도 기울기 추정치의 편향이 생기지 않는 편향 없는 선형 시스템 해법기인 ULISSE를 도입한다.
• 각 SGLD 반복에서 조밀한 선형 시스템을 빠르게 풀기 위해 GPU 가속 기반의 CMVP를 활용한다.
• 수렴 속도 향상을 위해 작은 데이터 샘플에서 추정한 조절행렬 M을 사용하지만, 조정은 여전히 히우리스틱 방식이다.
• ULISSE를 통해 조기 종료된 CG 조차도 기울기 추정치의 편향 없음을 유지함으로써 전체 추론 파이프라인의 편향 없음을 보장한다.

실험 결과

연구 질문

• RQ1 주변 가능도를 근사하거나 공분산 행렬에 구조적 제약을 두지 않고도 GP 공분산 매개변수에 대해 편향 없고 확장 가능한 추론이 가능할 수 있는가?
• RQ2 CG와 같은 반복적 선형 해법기의 조기 종료를 어떻게 편향 없게 만들 수 있으며, 이로 인해 진정한 사후 분포로 수렴하는가?
• RQ3 GPU 가속 기반의 공분산 행렬-벡터 곱은 대규모 데이터셋에서 SGLD 기반 GP 추론의 효율성을 어느 정도 향상시킬 수 있는가?
• RQ4 표준 데스크톱 하드웨어에서 수천 개의 데이터 포인트를 가진 데이터셋에 대해 정확한(몬테카를로 의미에서) 불확실성 정량화가 가능한가?
• RQ5 밀도가 높은 공분산 구조를 가진 GP 모델에 적용했을 때, 조절행렬의 선택은 SGLD의 수렴성과 혼합 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 SGLD와 ULISSE는 표준 데스크톱 컴퓨터에서 22,784개의 샘플을 가진 인구 조사 데이터셋에 대해 하루 이내에 정확한 베이지안 추론을 성공적으로 수행하였다.
• ULISSE는 CG 반복을 조기에 종료해도 여전히 편향 없는 기울기 추정을 가능하게 하여 사후 샘플링 과정의 타당성을 유지하였다.
• 다섯 개의 체인에서 잠재적 척도 감소 요인(PSRF) 값이 1.05 이하로 유지되어 수천 번의 SGLD 반복 후 수렴이 이루어졌음을 확인하였다.
• SGLD와 ULISSE는 평균 약 2.4시간에 한 번씩 독립된 샘플을 생성하며, 효과적인 샘플 크기는 약 0.1%에 도달하였다.
• 저랭크 근사, 희소 구조, 또는 데이터 서브샘플링 없이도 대규모 데이터셋에 확장 가능했으며, 전체 불확실성 정량화를 유지하였다.
• 두 개의 GPU를 사용함으로써 공분산 행렬-벡터 곱의 계산을 효율적으로 수행할 수 있었고, 이는 소규모 GP 추론을 넘어서 실세계 응용에 실용적인 방법이 되었다.