[논문 리뷰] Graph Based Gaussian Processes on Restricted Domains

David B. Dunson, Hau‐Tieng Wu외 1명|arXiv (Cornell University)|2020. 10. 14.

Gaussian Processes and Bayesian Inference참고 문헌 36인용 수 4

한 줄 요약

이 논문은 입력 공간의 내재 기하구조를 고려하는 공분산 구조를 학습함으로써 제한적이고 복잡한 도메인에서 비모수적 회귀를 위한 그래프 라플라시안 기반 가우시안 프로세스(GL-GPs)를 제안한다. 유클리드 거리로부터 구성된 그래프 라플라시안의 유한한 수의 고유쌍을 통해 열핵을 근사화함으로써, GL-GPs는 기하구조 인식 스무딩과 뉴스트롬 기반의 새로운 데이터 확장을 가능하게 하여 이론적으로 최적의 사후 수축 속도를 달성하고 실무적으로 예측 정확도를 향상시키며, 손 표면과 같은 비선형 다양체에서 尤히 효과적이다.

ABSTRACT

In nonparametric regression, it is common for the inputs to fall in a restricted subset of Euclidean space. Typical kernel-based methods that do not take into account the intrinsic geometry of the domain across which observations are collected may produce sub-optimal results. In this article, we focus on solving this problem in the context of Gaussian process (GP) models, proposing a new class of Graph Laplacian based GPs (GL-GPs), which learn a covariance that respects the geometry of the input domain. As the heat kernel is intractable computationally, we approximate the covariance using finitely-many eigenpairs of the Graph Laplacian (GL). The GL is constructed from a kernel which depends only on the Euclidean coordinates of the inputs. Hence, we can benefit from the full knowledge about the kernel to extend the covariance structure to newly arriving samples by a Nyström type extension. We provide substantial theoretical support for the GL-GP methodology, and illustrate performance gains in various applications.

연구 동기 및 목표

• 입력 데이터가 복잡한 기하학적 특성을 지닌 제한된 비선형 도메인에 위치할 경우 표준 GP 모델의 성능이 열 劣하는 문제를 해결하기 위해.
• 입력 도메인의 내재 기하구조를 고려하는 공분산 함수를 학습하는 GP 프레임워크를 개발하기 위해.
• 고정 설계 하에서 제안된 GL-GP 모델의 사후 수축 속도에 대한 이론적 보장을 제공하기 위해.
• 그래프 라플라시안 고유쌍 기반의 뉴스트롬 유형 확장을 통해 스케일러블 추론과 샘플 외 예측을 가능하게 하기 위해.
• 실제 및 합성 데이터에서 기하학적 구조를 지닌 도메인에서 표준 유클리드 거리 기반 GP 커널에 비해 GL-GPs의 경험적 우수성을 입증하기 위해.

제안 방법

• 입력 점들 사이의 유클리드 거리를 기반으로 커널(예: 가우시안)을 사용하여 가중치 그래프를 구성함으로써 이웃 구조를 정의한다.
• 그래프의 인접 행렬과 차수 행렬로부터 그래프 라플라시안 행렬을 계산한다.
• 해를 구하기 어려운 열핵을 대체하기 위해 그래프 라플라시안의 첫 $K$개 고유쌍을 사용하여 열핵 공분산을 근사한다.
• 그래프 라플라시안 기반 공분산 $\mathsf{C}_{\epsilon,K}(x,y,\mathbf{T})$ 를 사용하여 GP 사전분포를 정의한다. 여기서 $\mathbf{T}$ 는 사전분포 $g(t)$ 를 가진 랜덤 대역폭 파라미터이다.
• 그래프 라플라시안 고유분해를 활용한 뉴스트롬 유형 확장을 통해 샘플 외 예측을 가능하게 한다.
• 고정 설계 설정을 사용하여 사후 수축 속도를 유도함으로써, 정규성 조건 하에서 근사 최적 수렴 속도를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 제한적이고 비선형일 수 있는 도메인의 내재 기하구조를 사전 지식 없이도 GP 모델이 그 기하학적 특성을 반영하는 공분산 함수를 학습할 수 있는가?
• RQ2 열핵의 그래프 라플라시안 근사에 기반한 GP 사전분포의 이론적 사후 수축 속도는 얼마인가?
• RQ3 복잡한 기하학적 구조를 지닌 도메인에서 제안된 GL-GP의 성능은 유클리드 거리 기반 커널을 사용하는 표준 GP 모델에 비해 어떻게 다른가?
• RQ4 GL-GP 프레임워크는 고유분해와 뉴스트롬 확장을 통해 스케일러블 추론과 샘플 외 예측을 지원할 수 있는가?
• RQ5 GL-GP가 비모수적 회귀에서 최적 또는 근사 최적 수렴 속도를 달성하는 조건은 무엇인가?

주요 결과

• 정규성 조건 하에서 GL-GP는 사후 수축 속도 $\gamma_n = \left(\frac{n}{\log n}\right)^{-\frac{d}{2q+2d}}$ 를 달성하며, 주어진 함수 클래스에 대해 최소자승 최적 속도에 가까워진다.
• 경험적 결과는 레이노의 병변이 있는 3차원 손 표면 데이터에서 표준 GP 모델이 유클리드 거리 가정으로 인해 손가락 사이를 잘못 스무딩하는 데 비해 GL-GPs가 예측 정확도를 크게 향상시킴을 보여준다.
• 그래프 라플라시안 고유쌍의 사용은 계산적으로 실현 가능한 방법으로 해를 구하기 어려운 열핵을 대체함으로써 기하구조 인식 스무딩을 가능하게 한다.
• 뉴스트롬 유형 확장은 사전에 계산된 그래프 라플라시안 고유분해를 활용하여 새로운 입력에 대한 효율적 예측을 가능하게 한다.
• 이론적 분석은 GL-GP 사전분포가 진짜 함수의 연속성과 입력 도메인의 차원에 따라 진짜 함수로 수축하는 속도에 영향을 받음을 확인한다.
• 이 방법은 알려지지 않은 도메인 기하학에 대해 강건하며, 입력 도메인이 알려진 다양체가 아니더라도 잘 작동하여 기존 문헌의 가정을 초월한다.