[논문 리뷰] Scaling Gaussian Processes with Derivative Information Using Variational Inference

Misha Padidar, Xinran Zhu외 3명|arXiv (Cornell University)|2021. 07. 08.

Gaussian Processes and Bayesian Inference참고 문헌 39인용 수 9

한 줄 요약

이 논문은 유도 경량 도함수를 사용하여 기울기 관측치를 희소화하는 방식으로, 유도 도함수 정보를 포함한 가우시안 프로세스에 대해 확장 가능한 변분 추론 방법을 제안한다. 이 방법은 훈련 복잡도를 O(M³p³)로 줄여 고차원, 대규모 설정에서도 효율적인 추론을 가능하게 하며, 놀랍게도 도함수 데이터가 없더라도 방향 도함수를 통해 구조적 정보를 코딩함으로써 회귀 성능을 향상시킨다.

ABSTRACT

Gaussian processes with derivative information are useful in many settings where derivative information is available, including numerous Bayesian optimization and regression tasks that arise in the natural sciences. Incorporating derivative observations, however, comes with a dominating $O(N^3D^3)$ computational cost when training on $N$ points in $D$ input dimensions. This is intractable for even moderately sized problems. While recent work has addressed this intractability in the low-$D$ setting, the high-$N$, high-$D$ setting is still unexplored and of great value, particularly as machine learning problems increasingly become high dimensional. In this paper, we introduce methods to achieve fully scalable Gaussian process regression with derivatives using variational inference. Analogous to the use of inducing values to sparsify the labels of a training set, we introduce the concept of inducing directional derivatives to sparsify the partial derivative information of a training set. This enables us to construct a variational posterior that incorporates derivative information but whose size depends neither on the full dataset size $N$ nor the full dimensionality $D$. We demonstrate the full scalability of our approach on a variety of tasks, ranging from a high dimensional stellarator fusion regression task to training graph convolutional neural networks on Pubmed using Bayesian optimization. Surprisingly, we find that our approach can improve regression performance even in settings where only label data is available.

연구 동기 및 목표

• 고차원, 대규모 설정에서 기울기 관측치를 포함한 가우시안 프로세스 훈련의 O(N³D³) 계산 비용을 해결하기 위해.
• 데이터셋 크기 N과 입력 차원 D에 모두 효율적으로 스케일링되는 변분 추론 프레임워크를 개발하기 위해.
• 함수 값에 대한 유도 점과 유사하게 기울기 정보를 위한 희소 근사 기법으로서 유도 방향 도함수를 도입하기 위해.
• 그래프 신경망 훈련 및 핵융합 에너지 모델링과 같은 실제 고차원 문제들에서 방법의 효과성을 입증하기 위해.
• 훈련 세트에 도함수 데이터가 존재하지 않을 경우에도 도함수 기반 모델이 성능 향상을 이룰 수 있는지 조사하기 위해.

제안 방법

• 이 방법은 학습된 유도 방향 도함수를 통해 도함수 정보를 포함하는 변분 사후 분포를 도입하여 전체 N과 D에 대한 의존도를 감소시킨다.
• 증거 하한 경계(ELBO)를 레이블 관측치와 부분 도함수 관측치의 합으로 설정하여, 레이블과 기울기의 혼합 미니배치를 사용한 확률적 경사 하강법을 가능하게 한다.
• 핵심 혁신은 랜덤 방향에서의 방향 도함수를 충분 통계로 사용함으로써 기울기 정보를 저차원 표현으로 압축할 수 있도록 허용하는 것이다.
• 훈련 복잡도는 반복당 O(M³p³)로 감소하며, 여기서 M ≪ N 이고 p ≪ D 이다. 이는 큰 N과 D에 대해서도 스케일이 가능하게 한다.
• 표준 희소 GP 방법을 일반화하여, 방향 도함수를 통해 기울기 관측치에 대한 유도 점 프레임워크를 확장한다.
• 도함수 데이터 유무에 관계없이 지원되며, 후자의 경우 방향 도함수를 통한 구조적 인코딩 덕분에 놀라운 성능 향상이 나타난다.

실험 결과

연구 질문

• RQ1 유도 방향 도함수를 사용한 변분 추론이 고차원, 대규모 설정에서 도함수 정보를 포함한 확장 가능한 가우시안 프로세스 회귀를 달성할 수 있는가?
• RQ2 유도 도함수를 유도 변수로 사용할 경우, 도함수를 포함한 정확한 GP 추론과 비교해 예측 정확도를 유지할 수 있는가?
• RQ3 도함수 데이터가 없는 모델도 도함수 기반 변분 파rameter를 포함함으로써 회귀 성능 향상에서 이점을 얻을 수 있는가?
• RQ4 실제 고차원 데이터 세트, 예를 들어 스타렐레이터 핵융합 데이터와 그래프 신경망 최적화에서 제안된 방법은 실제로 어떻게 스케일링되는가?
• RQ5 유도 방향 도함수의 수(p)와 유도 점의 수(M)가 모델 성능과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 N과 D 양쪽 모두에서 완전한 스케일링을 달성하여 훈련 복잡도를 O(M³p³)로 감소시켜 이전에는 정확한 GP 추론으로는 다루기 어려웠던 대규모 문제에 응용 가능하게 한다.
• 스타렐레이터 핵융합 회귀 과제에서, 이 방법은 도함수 정보를 포함한 확장 가능한 회귀를 성공적으로 수행했으며, 기준 방법들을 능가했다.
• PubMed에서 그래프 컬러레이션 신경망에 대한 베이지안 최적화에서, 이 방법은 확장 가능한 스케일에서 불확실성 정량화를 포함한 엔드 투 엔드 훈련을 가능하게 했다.
• 도함수 데이터가 없는 UCI 회귀 벤치마크에서, DSVGP1과 DPPGPR1은 표준 SVGP와 PPGPR보다 낮은 MSE와 NLL을 기록하여 도함수 기반의 정보가 없는 구조에서 놀라운 성능 향상을 보였다.
• 합성 및 표면 재구성 과제에서 DSKI [5]보다도 성능이 뛰어나며, 더 나은 근사 품질과 스케일링 능력을 보였다.
• 놀랍게도, 도함수 관측치가 존재하지 않을 경우에도 유도 방향 도함수를 포함한 모델이 회귀 성능을 향상시켰으며, 이는 방향 인코딩을 통한 새로운 형태의 인도티브 바이어스가 있음을 시사한다.