[논문 리뷰] Nested Expectation Propagation for Gaussian Process Classification with a Multinomial Probit Likelihood

Jaakko Riihimäki, Pasi Jylänki외 1명|arXiv (Cornell University)|2012. 07. 16.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 32

한 줄 요약

이 논문은 수치적 적분을 사용하지 않고 클래스 간 잠재 변수 간의 의존성을 정확히 모델링하면서 클래스 수에 대해 선형 스케일링을 달성하는 가우시안 프로세스 다중분류 프로빗 분류를 위한 새로운 내재된 기대 전파(EP) 방법을 제안한다. MCMC에 비해 예측 일致성에서 뛰어나지만, 분류 정확도는 다양한 방법 간에 미미한 차이를 보인다.

ABSTRACT

We consider probabilistic multinomial probit classification using Gaussian process (GP) priors. The challenges with the multiclass GP classification are the integration over the non-Gaussian posterior distribution, and the increase of the number of unknown latent variables as the number of target classes grows. Expectation propagation (EP) has proven to be a very accurate method for approximate inference but the existing EP approaches for the multinomial probit GP classification rely on numerical quadratures or independence assumptions between the latent values from different classes to facilitate the computations. In this paper, we propose a novel nested EP approach which does not require numerical quadratures, and approximates accurately all between-class posterior dependencies of the latent values, but still scales linearly in the number of classes. The predictive accuracy of the nested EP approach is compared to Laplace, variational Bayes, and Markov chain Monte Carlo (MCMC) approximations with various benchmark data sets. In the experiments nested EP was the most consistent method with respect to MCMC sampling, but the differences between the compared methods were small if only the classification accuracy is concerned.

연구 동기 및 목표

• 비정규 분포의 우도 함수와 클래스 수 증가에 따라 증가하는 잠재 변수 차원으로 인해 다중분류 가우시안 프로세스 분류에서 후행 추론이 비가능해지는 문제를 다루기 위해.
• 기존의 EP 방법이 수치적 적분이나 클래스별 잠재 변수 간 독립성 가정에 의존하는 한계를 극복하기 위해.
• 잠재 변수 간 전체 후행 의존성을 유지하면서도 계산 효율성을 확보하는 확장 가능한 추론 방법을 개발하기 위해.
• 클래스 수에 대해 선형 스케일링을 달성하여 많은 수의 클래스를 가진 문제에 대한 실용적 적용 가능성을 확보하기 위해.
• 예측 불확실성 정량화를 위한 라플라스, 변분 베이즈, MCMC 근사 방법보다 더 정확하고 일관된 대안을 제공하기 위해.

제안 방법

• 각 우도 항에 대해 계층적 구조를 활용해 반복적으로 사이트 근사값을 개선하는 내재된 EP 프레임워크를 도입하여 근사 추론을 수행한다.
• 다변량 정규 분포의 기울인 모멘트에 대해 분석적 근사를 사용하여 이전의 EP 접근법에서 요구되는 고비용의 수치적 적분을 피한다.
• 클래스 간 잠재 변수 간 전체 후행 공분산 구조를 유지하여 상호 클래스 간 의존성을 보존한다.
• 공석 파rameter와 사이트 업데이트를 사용하여 후행 공분산과 평균에 대해 랭크-1 업데이트를 구현함으로써 수치적 안정성과 수렴성을 확보한다.
• 수렴을 향상시키기 위해 사이트 업데이트에 덤핑을 적용하며, 단계 크기를 조절하기 위해 덤핑 인자 δ ∈ (0,1]를 사용한다.
• 블록 대각 및 희소 행렬 구조를 활용하여 후행 평균과 공분산에 대한 분석적 표현을 이용해 테스트 점에서의 예측 분포를 유도한다.

실험 결과

연구 질문

• RQ1 내재된 EP 접근법은 수치적 적분에 의존하지 않고 다중분류 프로빗 GP 분류에서 잠재 변수 간의 클래스 간 의존성을 정확히 모델링할 수 있는가?
• RQ2 제안된 방법은 클래스 수에 대해 선형 스케일링을 달성하면서도 높은 예측 정확도를 유지하는가?
• RQ3 기준 데이터셋을 통해 내재된 EP의 예측 일치성은 라플라스, 변분 베이즈, MCMC 방법과 비교해 어떻게 되는가?
• RQ4 전체 후행 의존성을 유지함으로써 분류 성능와 불확실성 정량화에 어떤 영향을 미치는가?
• RQ5 고차원 잠재 공간에서 더 나은 믹싱과 더 빠른 수렴을 보이는 MCMC의 확장 가능한 대안을 제공할 수 있는가?

주요 결과

• 내재된 EP 방법은 기준 데이터셋에서 MCMC 샘플링과 가장 높은 일致성을 보이며, 더 나은 불확실성 정량화를 나타낸다.
• 높은 정확도를 달성했음에도 불구하고, 내재된 EP, 라플라스, 변분 베이즈, MCMC 간의 분류 정확도 차이는 미미하여 유사한 예측 성능를 보였다.
• 이 방법은 클래스 수에 대해 선형 스케일링을 보이며, 많은 수의 클래스를 가진 문제에서도 효율적인 추론이 가능하다.
• 수치적 적분을 피하고 전체 후행 의존성을 유지함으로써, 독립성 가정이나 근사치를 사용하는 기존의 EP 변종보다 개선된 성능를 달성한다.
• Cholesky 분해와 랭크-1 업데이트를 통해 마진형 우도 근사 및 기울기 계산이 효율적으로 수행되며, O((c+1)n³) 복잡도를 유지한다.
• 알고리즘의 암묵적 도함수들이 자연스럽게 상쇄되어, 마진형 우도 표현의 첫 번째 두 항의 명시적 도함수만을 사용하여 신뢰성 있는 하이퍼파ram터 최적화가 가능하다.