[논문 리뷰] Multivariate Generalized Gaussian Process Models

Antoni B. Chan|arXiv (Cornell University)|2013. 11. 02.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 8

한 줄 요약

이 논문은 다변량 지수족 분포(EFD)를 이용해 우도를 모델링함으로써 상관관계가 있는 다변량 출력을 다룰 수 있도록 가우시안 프로세스를 확장한 다변량 일반화 가우시안 프로세스 모델(M-GGPM)을 제안한다. 각도 회귀를 위한 버나이-미스 GP와 다항단체 간선 회귀를 위한 디리클레 GP라는 두 가지 새로운 모델을 제안하며, 효율적인 추론을 위해 타일러 및 라플라스 근사법을 사용하여, 제약 조건이 있는 출력을 위한 확률적 회귀 과제에서 뛰어난 성능을 달성한다.

ABSTRACT

We propose a family of multivariate Gaussian process models for correlated outputs, based on assuming that the likelihood function takes the generic form of the multivariate exponential family distribution (EFD). We denote this model as a multivariate generalized Gaussian process model, and derive Taylor and Laplace algorithms for approximate inference on the generic model. By instantiating the EFD with specific parameter functions, we obtain two novel GP models (and corresponding inference algorithms) for correlated outputs: 1) a Von-Mises GP for angle regression; and 2) a Dirichlet GP for regressing on the multinomial simplex.

연구 동기 및 목표

• 독립적인 GP 모델이 다변량 출력 간의 상관관계를 포착하지 못하는 한계를 해결하기 위해.
• 단체와 방향 데이터와 같은 제약 조건이 있는 출력 공간을 다룰 수 있는 통합된 다변량 GP 모델 프레임워크를 개발하기 위해.
• 합계가 1이 되는 확률값, 원 위의 각도 등 구조적 제약 조건이 있는 출력에 대해 정확한 확률적 회귀를 가능하게 하기 위해.
• 일반적인 M-GGPM 프레임워크에 적용 가능한 효율적인 근사 추론 알고리즘을 유도하기 위해.
• 각도 및 다항단체 회귀 과제를 위한 새로운 모델을 통해 프레임워크의 유용성을 입증하기 위해.

제안 방법

• 다변량 지수족 분포(EFD)를 통해 우도를 정의하는 다변량 GP 모델을 수립하며, 이를 위해 충분통계량, 로그-파트션 함수, 분산 매개변수를 사용한다.
• M-GGPM를 잠재 GP 사전분포로 정의하고, EFD의 충분통계량 평균에 매핑하기 위해 링크 함수를 통해 변환한다.
• 두 가지 근사 추론 알고리즘을 유도한다: 관측치 주변의 타일러 근사(1차 전개)와 사후 모드 주변의 라플라스 근사(2차 전개).
• 일반 프레임워크를 두 가지 특정 EFD 사례에 적용한다: 다항단체 출력을 위한 디리클레 분포와 각도 출력을 위한 버나이-미스 분포.
• 디리클레 경우의 양수 제약 조건을 확보하기 위해 로지스틱 링크 함수를 사용하고, 버나이-미스 경우에는 로그-선형 링크 함수를 사용한다.
• 헤시안 기반 근사와 기울기 및 헤시안 항의 효율적 계산을 통해 추론을 수행하며, 디리클레 경우에는 다중파일 함수를 포함한다.

실험 결과

연구 질문

• RQ1 지수족 분포를 사용하여 구조적 제약 조건이 있는 상관관계가 있는 출력을 다룰 수 있는 통합된 다변량 GP 프레임워크를 개발할 수 있는가?
• RQ2 비정규, 제약 조건이 있는 출력 분포를 가진 다변량 GP 모델에서 효율적인 근사 추론을 수행할 수 있는가?
• RQ3 제안된 M-GGPM 프레임워크는 확률적 회귀 과제(예: 확률 벡터 복원, 각도 데이터 예측)에서 향상된 성능을 낼 수 있는가?
• RQ4 M-GGPM에서 타일러 근사와 라플라스 근사의 정확도와 계산 효율성 측면에서 비교해 볼 때 어떤 것이 더 우수한가?
• RQ5 제약 조건이 있는 출력 공간을 포함하는 과제에서 M-GGPM가 기존 GP 모델(예: 독립 GP, 이진 GPC)보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 디리클레-GGPM는 양성화된 노이즈가 있는 확률 벡터에서 기저 확률 분포를 복원하는 데 평균 절대 오차(MAE) 0.072를 기록하여 CGP(MAE 0.16)와 이진 GPC(MAE 0.17)를 모두 압도했다.
• 이미지 애너테이션 과제에서 디리클레-GGPM는 10개의 무작위 훈련-테스트 분할에 걸쳐 상위-k 애너테이션의 평균 단어 F-스코어에서 베이스라인 모델을 크게 앞섰다.
• 디리클레-GGPM는 비음수 성분이 1로 합해지는 단체 제약 조건을 성공적으로 강제하여, 다른 모델에서 요구하는 잘라내기나 정규화로 인한 아티팩트를 방지했다.
• 버나이-미스 GP 모델은 다변량 EFD 프레임워크를 활용해 방향성 출력의 확률 모델링을 가능하게 하는 새로운 각도 회귀 모델로 유도되었다.
• 실험 결과 라플라스 근사가 타일러 근사보다 더 정확한 사후 추정을 제공했으며, 특히 우도의 곡률이 높은 영역에서 두드러졌다.
• 프레임워크를 통해 다양한 매개변수 함수를 사용해 EFD를 인스턴스화함으로써 새로운 GP 모델을 창출할 수 있으며, 제시된 두 사례 외에도 확장 가능성을 입증했다.