[논문 리뷰] Remarks on multivariate Gaussian Process

Zexun Chen, Jun Fan외 1명|arXiv (Cornell University)|2020. 10. 19.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 5

한 줄 요약

이 논문은 다변량 가우시안 프로세스(MV-GP)를 벡터값 함수 공간 위의 가우시안 측도로 철저한 측도 이론적 정의를 제공하며, 존재성과 엄밀한 정상성, 독립성 등의 기본 성질을 증명한다. 이는 이토의 보조정리에 기반한 다변량 브라운 운동을 특수한 경우로 포함하며, 닫힌 형태의 추론과 하이퍼파rameter 최적화를 가능하게 하는 다중 출력 예측을 위한 통합 프레임워크로 다변량 가우시안 프로세스 회귀를 제시한다.

ABSTRACT

Gaussian processes occupy one of the leading places in modern statistics and probability theory due to their importance and a wealth of strong results. The common use of Gaussian processes is in connection with problems related to estimation, detection, and many statistical or machine learning models. With the fast development of Gaussian process applications, it is necessary to consolidate the fundamentals of vector-valued stochastic processes, in particular multivariate Gaussian processes, which is the essential theory for many applied problems with multiple correlated responses. In this paper, we propose a precise definition of multivariate Gaussian processes based on Gaussian measures on vector-valued function spaces, and provide an existence proof. In addition, several fundamental properties of multivariate Gaussian processes, such as strict stationarity and independence, are introduced. We further derive multivariate Brownian motion including Itô lemma as a special case of a multivariate Gaussian process, and present a brief introduction to multivariate Gaussian process regression as a useful statistical learning method for multi-output prediction problems.

연구 동기 및 목표

• 벡터값 함수 공간 위의 가우시안 측도를 사용하여 다변량 가우시안 프로세스의 수학적으로 타당한 정의를 수립하기 위해.
• 이전 응용에서 해결되지 않은 이론적 공백, 특히 존재성 문제를 해결하기 위해.
• 행렬 변수 가우시안 분포의 벡터화에 의존하지 않는 다중 출력 예측을 위한 통합 프레임워크를 제공하기 위해.
• 클래식 결과인 이토의 보조정리를 다변량 경우로 확장하고, 새로운 정의 하에서 그 타당성을 입증하기 위해.
• 닫힌 형태의 주변 가능도와 예측 분포를 통해 강력한 통계적 학습을 가능하게 하기 위해 다변량 가우시안 프로세스 회귀를 활용하기 위해.

제안 방법

• 벡터값 연속 함수 공간 위의 가우시안 측도를 통해 다변량 가우시안 프로세스를 정의하여 측도 이론적 기초와의 일致를 확보하기 위해.
• 함수 공간 위의 특성 함수 성질과 함께 보흐너-민로스 정리를 사용하여 MV-GP의 존재성을 증명하기 위해.
• 공분산 구조와 스펙트럼 분석을 통한 엄밀한 정상성 및 독립성 조건을 도입하기 위해.
• 벡터값 이토 과정으로 이토 공식을 확장하여 d차원 브라운 운동을 위한 다변량 이토의 보조정리를 유도하기 위해.
• 커널 함수가 상호 출력 상관관계를 포함하도록 행렬 변수 정규분포를 사용하여 공동 출력을 위한 다변량 가우시안 프로세스 회귀(MV-GPR)를 구성하기 위해.
• 크로네커 곱과 행렬 역행렬을 사용하여 예측 분포와 주변 가능도를 닫힌 형태로 공식화하여 표준 최적화 기법을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 클래식 가우시안 프로세스를 벡터값 함수로 확장하는 데 적합한, 수학적으로 엄밀한 다변량 가우시안 프로세스의 정의는 무엇인가?
• RQ2 측도 이론 도구를 사용하여 이러한 다변량 가우시안 프로세스의 존재성을 어떻게 증명할 수 있는가?
• RQ3 제안된 MV-GP 프레임워크의 특수한 경우로서 다변량 브라운 운동과 이토의 보조정리는 일관되게 유도될 수 있는가?
• RQ4 제안된 MV-GP 프레임워크는 행렬 변수 가우시안 분포의 벡터화에 의존하지 않고 다중 출력 회귀를 어떻게 지원하는가?
• RQ5 특히 닫힌 형태의 추론과 하이퍼파rameter 추정이 가능한 다중 출력 설정에서 통계적 학습에 어떤 영향을 미치는가?

주요 결과

• 논문은 이전 연구에서의 기초적 모호성을 해결하기 위해 다변량 가우시안 프로세스를 벡터값 함수 공간 위의 가우시안 측도로 정확히 정의한다.
• 특성 함수로부터 MV-GP를 엄밀히 구성할 수 있음을 확인하기 위해 보흐너-민로스 정리를 사용한 존재성 증명이 제시된다.
• 다변량 브라운 운동은 MV-GP의 특수한 경우로 도출되며, 이토의 보조정리는 교차변화 항을 포함한 d차원 과정으로 확장된다.
• 다변량 가우시안 프로세스 회귀(MV-GPR)는 주변 가능도와 예측 분포 모두에 대해 닫힌 형태의 표현식을 도출함을 보여준다.
• 예측 평균과 공분산은 행렬 연산을 통해 표현되며, 예측 공분산은 입력 공분산과 출력 상관관계 행렬의 크로네커 곱을 포함한다.
• 가능도와 예측 밀도의 닫힌 형태 구조 덕분에 하이퍼파rameter 추정을 위한 표준 최적화 기법(예: 최대우도추정)이 가능하다.