[논문 리뷰] Latent Gaussian Process Regression

Erik Bodin, Campbell, Neill D. F.외 1명|arXiv (Cornell University)|2017. 07. 18.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 8

한 줄 요약

이 논문은 잠재 변수를 통합하여 임의의 기본 공분산 함수를 사용해 비정상성과 다중모달 데이터를 모델링할 수 있도록 가우시안 프로세스를 확장하는 잠재 가우시안 프로세스 회귀를 소개한다. 몬테 카를로 근사에 의한 잠재 변수의 적분을 통해, 과도한 파rameter화 없이도 복잡한 데이터 구조에 대해 민감하고 비모수적인 모델링이 가능해지며, 합성 데이터, 동작 캡처 데이터, 지구통계 데이터에서 표준 가우시안 프로세스를 능가하는 성능을 보인다.

ABSTRACT

We introduce Latent Gaussian Process Regression which is a latent variable extension allowing modelling of non-stationary multi-modal processes using GPs. The approach is built on extending the input space of a regression problem with a latent variable that is used to modulate the covariance function over the training data. We show how our approach can be used to model multi-modal and non-stationary processes. We exemplify the approach on a set of synthetic data and provide results on real data from motion capture and geostatistics.

연구 동기 및 목표

• 표준 가우시안 프로세스가 비정상성과 다중모달 데이터를 모델링하는 데 한계를 보이는 점, 즉 전역적 정상성 가정이 실패할 경우를 해결하기 위해.
• 모델의 파rameter 수가 급격히 증가하지 않도록 하면서도, 단일 가우시안 프로세스 내에서 여러 기저 프로세스를 통합적으로 모델링할 수 있는 통합 프레임워크를 개발하기 위해.
• 복잡한 공분산 함수에 대해 분석적 기대값을 사용하는 대신 효율적인 몬테 카를로 근사로 대체함으로써, 복잡한 사전 분포에 대한 계산 가능하고 타당한 추론을 가능하게 하기 위해.
• 합성 데이터, 동작 캡처 시퀀스, 실제 지구통계 데이터(예: 줌라 광물 농도)에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 입력 공간을 조절하는 잠재 변수를 도입하여, 숨겨진 구성 요소 할당에 따라 국소적으로 공분산 함수가 적응하도록 함.
• 기본 공분산 함수(예: 제곱 지수형)의 곱으로 구성된 인자 분해 커널을 사용하며, 각 요소는 잠재 구성 요소와 연결됨.
• 분석적 계산 대신 몬테 카를로 샘플링을 통해 잠재 변수를 변분 추론 프레임워크 내에서 적분함.
• 잠재 공간에서 유도된 구성 요소 확률 분포를 통해 관측치를 구성 요소에 확률적으로 할당함.
• 후행 예측 분포를 사용해 각 구성 요소별로 예측을 생성함으로써, 단일 입력 공간에서 다중모달 회귀를 가능하게 함.
• 샘플링 기반 근사를 통해 이전에 계산이 불가능한 공분산 함수도 계산 가능하게 하여, 실제 데이터에 대한 확장성과 실용성을 확보함.

실험 결과

연구 질문

• RQ1 잠재 변수 확장이 모델 복잡도를 증가시키지 않으면서도 비정상성과 다중모달 데이터를 모델링할 수 있는가?
• RQ2 잠재 구성 요소 할당을 통해 단일 신호를 여러 기저 프로세스로 분해할 수 있는가?
• RQ3 몬테 카를로 방법이 복잡한 공분산 구조에 대한 변분 가우시안 프로세스 추론에서 분석적 기대값을 효과적으로 대체할 수 있는가?
• RQ4 제안된 방법이 실제 비정상성과 다중모달 데이터에 대해 표준 가우시안 프로세스보다 더 잘 일반화되는가?

주요 결과

• 합성 중첩 사인파 데이터에서, 관측치를 별개의 가우시안 프로세스로 분해함으로써 다중모달 데이터를 성공적으로 모델링함.
• 운동 캡처 데이터에서, 관측치를 서로 다른 잠재 구성 요소에 할당함으로써 다양한 운동 패턴을 포착하며, 표준 가우시안 프로세스보다 예측 정확도가 향상됨.
• 지구통계 응용(줌라 데이터셋)에서는 구성 요소별 분산을 통해 국소적 비정상성을 모델링함으로써, 노이즈가 많은 영역에서 과도하게 확신하는 예측을 방지함.
• 몬테 카를로 적분을 사용함으로써, 이전에는 계산이 불가능한 복잡한 공분산 함수에 대해서도 추론이 가능해져, 실제 데이터에 대한 확장성과 실용성이 확보됨.
• 후행 구성 요소 확률은 지속적으로 변화하는 기저 프로세스의 혼합을 시각화할 수 있으며, 예를 들어 광물 데이터에서 고농도 및 저농도 지역의 공간적 분포를 보여주며, 표준 가우시안 프로세스는 이를 포착하지 못함.