[논문 리뷰] Infinite Mixtures of Multivariate Gaussian Processes

Shiliang Sun|arXiv (Cornell University)|2013. 07. 26.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 13

한 줄 요약

이 논문은 다중모달 벡터값 함수를 모델링하고 다중작업 학습을 가능하게 하기 위해 다변량 가우시안 프로세스의 무한 혼합모형(IMMGP)을 제안한다. 디리클레 프로세스 사전분포를 활용하여 알려지지 않은, 데이터 기반의 성분 수를 추론한다. 모델은 잠재변수와 초모수의 동시 추론을 위해 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용하며, 복잡한 비정규 분포를 반영하면서도 계산 복잡도를 완화함으로써 합성 데이터에서 개선된 회귀 성능을 달성한다.

ABSTRACT

This paper presents a new model called infinite mixtures of multivariate Gaussian processes, which can be used to learn vector-valued functions and applied to multitask learning. As an extension of the single multivariate Gaussian process, the mixture model has the advantages of modeling multimodal data and alleviating the computationally cubic complexity of the multivariate Gaussian process. A Dirichlet process prior is adopted to allow the (possibly infinite) number of mixture components to be automatically inferred from training data, and Markov chain Monte Carlo sampling techniques are used for parameter and latent variable inference. Preliminary experimental results on multivariate regression show the feasibility of the proposed model.

연구 동기 및 목표

• 표준 다변량 가우시안 프로세스가 다중모달 데이터를 모델링하는 데 한계를 보이고, 입자 수의 제곱에 비례하는 계산 복잡도로 인해 대규모 데이터를 처리하는 데 어려움을 겪는 문제를 해결하기 위해.
• 일변량 가우시안 프로세스에서 성공한 무한 혼합 프레임워크를 다변량 설정으로 확장하여 관련 작업의 공동 학습을 가능하게 하기 위해.
• 디리클레 프로세스 사전분포를 통해 성분 수를 자동으로 추론함으로써 수동적인 모델 선택을 피하기 위해.
• 복잡한 고차원 출력 공간에서의 확장 가능한 추론 및 예측 프레임워크를 개발하기 위해, 마르코프 체인 몬테카를로 방법을 활용한다.

제안 방법

• 무한 개의 다변량 가우시안 프로세스 성분에 대해 디리클레 프로세스 사전분포를 적용하여 성분 수의 비모수적 추론을 가능하게 한다.
• 각 성분에 대해 입력 공간을 전치합성 공분산 가우시안 분포로 모델링하며, 평균 및 정밀도 행렬에 대해 콘jugate 사전분포를 적용한다.
• 중국 식당 프로세스 은유를 사용하여 새로운 데이터 포인트가 기존 성분 또는 새로운 성분에 할당될 확률을 계산한다.
• Gibbs 및 슬라이스 샘플링을 활용하여 잠재 성분 할당, 초모수, 모델 파라미터를 동시에 추론하기 위해 MCMC 샘플링을 적용한다.
• 예측을 위해 성분 할당과 잠재 함수에 대한 주어진 확률을 근사하기 위해 몬테카를로 적분을 사용한다.
• 새로운 성분에 대해 정보가 없는 사전분포를 통합하고, 계산이 어려운 예측 밀도를 근사하기 위해 몬테카를로 적분을 사용한다.

실험 결과

연구 질문

• RQ1 표준 다변량 가우시안 프로세스가 포착하지 못하는 다중모달, 다변량 값 함수를 무한 혼합 다변량 가우시안 프로세스가 효과적으로 모델링할 수 있는가?
• RQ2 비모수 베이지안 접근을 통해 수동 조정 없이 데이터로부터 성분 수를 자동으로 추론할 수 있는가?
• RQ3 기존의 다중작업 학습 방법에 비해 다변량 출력에서 예측 정확도를 향상시키면서도 계산 가능성을 유지할 수 있는가?
• RQ4 예측 중 새로운 성분을 포함시키는 것이 성능에 미치는 영향은 무엇이며, 모델 복잡도와 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 IMMGP 모델은 합성 다변량 회귀 데이터셋에서 테스트 루트 평균 제곱 오차(RMSE) 0.7963을 달성하여 MTLNN 기준선(RMSE = 2.0659)을 크게 뛰어넘었다.
• 예측 시 새로운 성분을 할당할 수 있는 옵션을 포함한 모델(IMMGP2)은 기존 성분에만 제한된 모델(IMMGP1)과 거의 동일한 성능을 보였으며, 성분 할당의 강건성과 안정성을 입증했다.
• 모델은 혼합 성분를 통해 다중모달 데이터 구조를 효과적으로 포착하여 표준 다변량 가우시안 프로세스의 단일모드 제한을 극복했다.
• 디리클레 프로세스 사전분포의 사용으로 성분 수의 자동 추론가 가능해졌으며, 사전 설정이 필요로 하지 않아 모델 선택의 부담이 감소했다.
• MCMC 기반 추론은 고차원 및 복잡한 출력 공간에서도 잠재 변수와 초모수의 사후분포를 효과적으로 탐색하여 정확한 예측을 가능하게 했다.
• 예측 평균은 성분 할당에 대한 몬테카를로 적분을 통해 계산되었으며, 가우시안 프로세스 사전분포 하에서 기대값은 해석적으로 계산되었다.