[논문 리뷰] Heterogeneous Multi-output Gaussian Process Prediction

Pablo Moreno-Muñoz, Antonio Artés-Rodrı́guez외 1명|arXiv (Cornell University)|2018. 05. 19.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 36

한 줄 요약

이 논문은 혼합형 출력—연속형, 이진형, 다중범주형, 이산형—을 동시에 예측하는 이종 다중출력 가우시안 프로세스 모델을 제안한다. 각 출력의 우도 파라미터는 벡터값 GP와 선형 공역화 모델(LMC) 구조를 가진 공유 잠재 함수를 통해 모델링된다. 유도 변수를 사용한 스 tochastic 변분 추론을 통해 계산이 가능하고 스케일이 큰 추론이 가능하며, 합성 데이터와 실제 데이터 세트(인간 행동 데이터 및 고차원 인구통계 데이터 포함)에서 향상된 예측 성능을 보여준다.

ABSTRACT

We present a novel extension of multi-output Gaussian processes for handling heterogeneous outputs. We assume that each output has its own likelihood function and use a vector-valued Gaussian process prior to jointly model the parameters in all likelihoods as latent functions. Our multi-output Gaussian process uses a covariance function with a linear model of coregionalisation form. Assuming conditional independence across the underlying latent functions together with an inducing variable framework, we are able to obtain tractable variational bounds amenable to stochastic variational inference. We illustrate the performance of the model on synthetic data and two real datasets: a human behavioral study and a demographic high-dimensional dataset.

연구 동기 및 목표

• 기존 다중출력 GP 모델이 가우시안 우도를 가정하는 바, 이종 출력(연속형, 이진형, 다중범주형, 이산형)을 포함하는 다중출력 회귀 문제에 도전한다.
• 다양한 비정규 우도를 가진 모델에서 공동 추론의 비가역성을 해결하기 위해 계산 가능한 변분 추론 프레임워크를 개발한다.
• 유도 변수 프레임워크와 스 tochastic 변분 추론을 통합하여 대규모 데이터 세트에서의 스케일 가능한 학습을 가능하게 한다.
• 공유 잠재 함수를 통한 이종 출력의 동시 모델링이 개별 모델링보다 예측 성능을 향상시킨다는 것을 입증한다.
• 사용자가 우도 목록(예: 베르누이, 포아송, 이방향 가우시안)을 지정할 수 있는 유연하고 확장 가능한 구현을 제공하며, 각 우도에 대한 잠재 함수 수는 자동으로 결정된다.

제안 방법

• 각 출력의 우도 파라미터(예: 평균, 정밀도)를 공유 잠재 함수의 함수로 모델링하며, 이는 선형 공역화 모델(LMC) 공분산 구조를 가진 벡터값 GP에서 유래한다.
• 모든 출력에 걸쳐 잠재 함수에 대한 공동 사전분포를 설정하며, 각 출력의 우도는 해당 잠재 함수 조건 하에서 조건부 독립이다.
• 비가역적인 잠재 함수 사후분포를 근사하기 위해 유도 변수를 사용한 변분 추론 프레임워크를 적용하여 계산의 스케일링을 가능하게 한다.
• 작은 배치를 통한 확률적 경사 하강법 최적화에 적합한 우도의 로그 확률 하한값을 기반으로 스 tochastic 변분 추론 목표를 유도한다.
• Alvarez와 Lawrence(2009)의 희소 GP 근사 기법을 활용하여 계산 복잡도를 O(N³)에서 O(NM²)로 감소시킨다. 여기서 M은 유도 점의 수이다.
• 사용자 친화적인 인터페이스를 갖춘 파이썬 구현을 제공하며, 우도는 리스트 형태로 지정(예: [Bernoulli(), Poisson(), HetGaussian()])하고, 각 우도에 대한 잠재 함수 수는 자동으로 결정된다.

실험 결과

연구 질문

• RQ1 다양한 우도 함수(예: 가우시안, 베르누이, 포아송)를 가진 이종 출력을 효과적으로 다룰 수 있는 다중출력 GP 모델이 계산의 타당성을 유지할 수 있는가?
• RQ2 공유 잠재 함수를 통한 이종 출력의 동시 모델링이 각 출력을 개별적으로 모델링하는 것보다 예측 성능을 향상시키는가?
• RQ3 특히 누락되거나 노이즈가 많은 데이터에서, 모델이 출력 간 상관관계를 얼마나 효과적으로 활용하여 예측을 향상시키는가?
• RQ4 혼합형 출력 유형을 가진 대규모 실세계 데이터 세트에서 제안된 모델의 확장성은 어느 정도인가?
• RQ5 독립적으로 모델링할 경우 간과되는 복잡한 비정규 의존성(예: 행동 데이터의 생체 리듬 패턴)을 모델이 포착할 수 있는가?

주요 결과

• 인간 행동 데이터 세트에서 첫 번째 출력(수면 시간)의 생체 리듬 패턴을 성공적으로 포착하였으며, 이는 공유 잠재 함수를 통해 다른 출력(이동성, 사회적 상호작용)으로 전이되어 전체 예측 성능 향상에 기여하였다.
• 런던 주택 가격 데이터 세트(N=20,000)에서 이종 다중출력 GP는 전역 NLPD 16.44±0.01을 기록하여 독립적 ChainedGP 모델(17.31±1.06)을 압도적으로 뛰어넘었으며, 이는 이진형(주택 유형)과 연속형(가격) 출력의 공동 모델링에서의 뚜렷한 성능 향상을 보여주었다.
• 고차원 심부전 데이터 세트(p=255, N=452)에서 이 모델은 이진형(성별)과 연속형(로그 연령) 출력 모두에 대해 평균 NLPD 0.0191을 기록하였으며, 독립적 ChainedGP와 유의미한 차이가 없어 고차원 환경에서도 안정성을 입증하였다.
• 모델의 성능 향상은 주로 누락 데이터 또는 복잡한 의존성(예: 행동 데이터의 생체 리듬)이 있는 경우에 두드러졌으며, 이 경우 독립적 모델링은 주기성을 포착하지 못했다.
• 스 tochastic 변분 추론의 사용으로 대규모 데이터 세트에서 효율적인 학습이 가능했으며, M=100개의 유도 점을 사용한 작은 배치로 수렴이 관찰되었다.
• 절단 실험 결과, 성능 향상의 근본 원인이 상호 출력 상관관계 모델링에 있음을 확인하였으며, 출력 간 상관관계가 높지 않은 경우에도 독립 학습보다 성능이 뛰어났다.