[논문 리뷰] Multiple Gaussian Process Models

Cédric Archambeau, Francis Bach|arXiv (Cornell University)|2011. 10. 24.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 14

한 줄 요약

이 논문은 계층적 베이지안 사전분포를 사용하여 커널 가중치에 일반화된 역가우스 분포를 적용함으로써 적응적으로 희소성을 유도하는 다중 가우시안 프로세스(MGP) 모델을 제안한다. 이 방법은 회귀 및 이元분류에 대해 변분 추론을 활용하여 수동적인 정규화 튜닝 없이도 관련 커널을 자동으로 선택함으로써 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider a Gaussian process formulation of the multiple kernel learning problem. The goal is to select the convex combination of kernel matrices that best explains the data and by doing so improve the generalisation on unseen data. Sparsity in the kernel weights is obtained by adopting a hierarchical Bayesian approach: Gaussian process priors are imposed over the latent functions and generalised inverse Gaussians on their associated weights. This construction is equivalent to imposing a product of heavy-tailed process priors over function space. A variational inference algorithm is derived for regression and binary classification.

연구 동기 및 목표

• 데이터 기반의 희소성 패턴에 자동으로 적응하는 베이지안 프레임워크를 개발하는 것.
• 데이터로부터 적절한 희소성 유도 사전분포를 학습함으로써 ℓp-노름 정규화의 통합적 처리를 이루는 것.
• 기존의 ℓ1 또는 ℓ2와 같이 사전에 정규화 노름을 지정해야 하는 빈도주의 MKL 방법의 한계를 극복하는 것.
• 교차검증 기반 커널 선택에 의존하지 않는 유연하고 확장 가능하며 원리적으로 타당한 커널 방법의 대안을 제공하는 것.

제안 방법

• 잠재 함수에 대해 가우시안 프로세스 사전분포를, 커널 가중치에 대해 일반화된 역가우스 사전분포를 적용하여 희소성을 유도하는 계층적 베이지안 모델을 설정한다.
• 스피크-앤프레드 사전분포를 근사하기 위해 평균이 0인 가우시안 척도 혼합의 곱을 사용하여 연속적이고 꼬리가 두꺼운 사전분포를 도입함으로써 희소해결을 선호하는 구조를 확보한다.
• 회귀 및 이元분류에 대해 변분 추론 알고리즘을 유도하며, 평균장 근사와 절단된 가우시안 변분 사후분포를 사용한다.
• 우도의 주변분포를 역 척도 매개변수에 가중된 커널 행렬의 합으로 모델링하여 비선형의 덧셈 함수공간 표현을 가능하게 한다.
• 선형 및 비선형 커널 행렬 모두에 동일한 프레임워크를 적용하여 기능공간 모델링의 유연성을 확보한다.
• 주변우도와 변분 하한을 사용하여 통합된 베이지안 프레임워크 내에서 모델 추론 및 하이퍼파ram터 학습을 수행한다.

실험 결과

연구 질문

• RQ1 꼬리가 두꺼운 사전분포를 갖는 계층적 베이지안 모델이 사전에 정규화 노름을 지정하지 않고도 관련 커널을 자동으로 선택할 수 있는가?
• RQ2 고정된 ℓ1, ℓ2 또는 ℓ4/3 정규화를 사용하는 표준 MKL 방법과 비교해 MGP 모델의 성능은 희소성과 비희소성 문제에서 어떻게 다를까?
• RQ3 MGP 프레임워크는 기저 데이터 생성 과정에서 다양하게 변화하는 희소성 수준에 얼마나 잘 적응할 수 있는가?
• RQ4 일반화된 역가우스 사전분포를 사용할 경우, 라플라스 또는 스트루던-티 분포와 같은 표준 사전분포보다 일반화 성능이 향상되는가?
• RQ5 MGP 모델은 교차검증을 통한 커널 선택에 의존하지 않고도 실제 분류 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 토이 회귀 데이터에서, 다중 스튜던트-티 및 감마분산 MGP 모델은 희소 설정에서 최저의 평균제곱근오차 0.033 (±0.027)를 기록하여 ARD 및 ℓ1-MKL를 능가했다.
• 10개의 활성 커널이 있는 비희소 설정에서는 MGP 모델이 평균 오차 0.719 (±0.221)를 기록했으며, 이는 희소 케이스에서 ℓ2-MKL(0.830 ± 0.655)과 ℓ4/3-MKL(0.097 ± 0.062)를 크게 능가한 결과였다.
• 스튜던트-티 및 감마분산 사전분포를 사용한 MGP 프레임워크는 플라워즈 데이터셋에서 평균 AUC 0.948 ± 0.057을 기록하여 최신 기술 수준의 MKL 결과를 초월했다.
• 계층적 베이지안 접근법은 데이터 희소성에 성공적으로 적응했으며, 그림 2(부록 참조)에서 사후 커널 가중치가 진짜 기저 희소성 패턴을 반영하고 있음을 확인할 수 있었다.
• 변분 추론 알고리즘이 안정적으로 수렴했고 정확한 예측 분포를 제공했으며, 분류 결정은 사후 평균 함수의 부호에 기반했다.
• MGP 모델은 모델 잘못설정에 대해 강건했으며, 진짜 해가 희소한 경우 ℓ2-MKL가 성능 저하를 보이는 것과는 달리 이에 영향을 받지 않았다.