[논문 리뷰] Scalable Variational Gaussian Process Regression Networks

Shibo Li, Wei Xing외 2명|arXiv (Cornell University)|2020. 03. 25.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 4

한 줄 요약

이 논문은 가우시안 프로세스 회귀 네트워크(GPRN)를 위한 확장 가능한 변분 추론 알고리즘을 제안하며, 잠재 함수와 출력 간의 복잡한 사후 상관관계를 텐서 정규분포 및 행렬 정규분포 변분 사후 분포를 통해 포착한다. 출력 공간의 텐서화와 증거 하한(lower bound) 내에 존재하는 크로네커 구조를 활용함으로써, 데이터 크기, 출력 차원, 잠재 함수의 수에 대해 선형 스케일링을 달성하여, 물리 시뮬레이션에서 백만 차원 출력 예측을 포함한 대규모 다중 출력 회귀 작업에서 추론 품질과 계산 효율성이 크게 향상된다.

ABSTRACT

Gaussian process regression networks (GPRN) are powerful Bayesian models for multi-output regression, but their inference is intractable. To address this issue, existing methods use a fully factorized structure (or a mixture of such structures) over all the outputs and latent functions for posterior approximation, which, however, can miss the strong posterior dependencies among the latent variables and hurt the inference quality. In addition, the updates of the variational parameters are inefficient and can be prohibitively expensive for a large number of outputs. To overcome these limitations, we propose a scalable variational inference algorithm for GPRN, which not only captures the abundant posterior dependencies but also is much more efficient for massive outputs. We tensorize the output space and introduce tensor/matrix-normal variational posteriors to capture the posterior correlations and to reduce the parameters. We jointly optimize all the parameters and exploit the inherent Kronecker product structure in the variational model evidence lower bound to accelerate the computation. We demonstrate the advantages of our method in several real-world applications.

연구 동기 및 목표

• 기존 GPRN 추론 방법은 잠재 변수와 가중치 간의 강한 사후 상관관계를 간과하는 완전 분할된 변분 사후 분포를 사용한다는 한계를 해결하기 위해.
• 특히 출력 차원 D가 클 경우 기존 방법이 O(NK²D) 또는 O(QN²KD) 복잡도로 매우 나쁘게 스케일링되는 점을 감안해, GPRN의 변분 추론 계산 비용을 줄이기 위해.
• 모든 변분 매개변수를 동시에 최적화하면서도 잠재 함수와 투영 가중치 양쪽 모두의 풍부한 사후 상관관계를 포착하는 확장 가능하고 효율적인 추론 알고리즘을 개발하기 위해.
• 실제 세계의 대규모 다중 출력 회귀 문제, 예를 들어 MRI 예측 및 백만 개의 출력 변수를 가진 물리 시뮬레이션에 GPRN의 실용적 적용을 가능하게 하기 위해.

제안 방법

• 출력 공간을 텐서화하여 D×K 투영 행렬을 텐서로 재구성함으로써 출력 내의 구조적 상관관계를 활용한다.
• 투영 가중치에 대한 연합 변분 사후 분포로 텐서 정규분포를 도입하여, 사후 상관관계를 포착하면서도 공분산 매개변수 수를 텐서 형식에서 O(D²)에서 O(D)로 감소시킨다.
• 잠재 함수 값의 연합 사후 상관관계를 효율적으로 모델링하기 위해 행렬 정규분포를 변분 사후 분포로 사용한다.
• 크로네커 곱 성질을 활용한 분해가 가능한 형태로 변분 증거 하한(ELBO)을 재구성하여, 로그 행렬식과 행렬 역행렬 계산을 가속화한다.
• 비효율적인 번갈아가는 업데이트를 피하기 위해 기울기 기반 최적화를 사용하여 모든 변분 매개변수를 동시에 최적화한다.
• 헤시안과 피셔 정보 행렬 근사치 내에 존재하는 크로네커 구조를 활용하여 O(NKD) 시간 복잡도를 달성함으로써, N, D, K에 대해 선형 복잡도를 확보한다.

실험 결과

연구 질문

• RQ1 기존의 완전 분할된 근사치와 비교해 복잡한 사후 상관관계를 더 잘 포착할 수 있는 GPRN에 대한 변분 추론 방법은 가능한가?
• RQ2 특히 D가 백만 수준일 경우, GPRN 추론의 계산 복잡도를 출력 수 D에 대해 선형적으로 줄일 수 있는가?
• RQ3 대규모 다중 출력 회귀 작업에서 빠른 속도 향상과 함께 높은 예측 정확도를 유지할 수 있는가?
• RQ4 물리 시뮬레이션에서 백만 개의 출력 변수를 가진 실제 문제에 효과적으로 적용될 수 있는가?

주요 결과

• Jura, Equity, PM2.5 세 가지 벤치마크 데이터셋에서, 제안된 SGPRN 방법은 평균 절대 오차(MAE)가 평균-장기 변분 베이즈(MFVB) 및 비모수적 변분 추론(NPV)보다 유의미하게 낮았으며, p값 < 0.05로 우수한 예측 성능을 입증했다.
• PM2.5 데이터셋에서 50개의 잠재 함수를 사용할 경우, SGPRN은 MFVB 대비 200배, NPV 대비 785배 빠른 속도를 기록하여 선형 O(NKD) 복잡도와 확장 가능성을 확인했다.
• Cantilever 및 GeneExp 데이터셋에서 SGPRN은 NRMSE 기준으로 PCA-GP, KPCA-GP, IsoMAP-GP를 일관되게 능가했으며, 한 경우를 제외하고는 PCA-PG보다 약간 열등했을 뿐, 구조적 출력 상관관계에 대한 강력한 일반화 능력을 보였다.
• 백만 개의 출력 차원을 가진 대규모 물리 시뮬레이션인 리드된 캐비티 유동에서 SGPRN은 모든 베이스라인보다 유의미하게 낮은 NRMSE를 기록했으며, 특히 5개 및 10개의 잠재 함수를 사용했을 때 극단적 규모 응용에서의 효과성을 입증했다.
• 다양한 텐서화 방식과 잠재 함수의 수에 관계없이 성능이 안정적이었으며, 정확도와 효율성 양면에서 일관된 향상이 있었다.