[논문 리뷰] Bayesian Hierarchical Mixtures of Experts

Chris Bishop, Markus Svenskn|arXiv (Cornell University)|2012. 10. 19.

Gaussian Processes and Bayesian Inference참고 문헌 8인용 수 123

한 줄 요약

이 논문은 최대우도 기반으로 학습되는 전통적인 HME 모델에서의 과적합 및 모델 복잡도 문제를 해결하기 위해 변분 추론을 사용하는 완전한 베이지안 계층적 혼합 전문가(HME) 모델을 제안한다. 국소적 및 전역적 변분 근사의 조합을 통해 우도의 하한을 엄밀하게 유도함으로써, 모델 선택의 원리적 접근과 로봇 팔 운동학 데이터에서의 개선된 일반화 성능을 가능하게 한다.

ABSTRACT

The Hierarchical Mixture of Experts (HME) is a well-known tree-based model for regression and classification, based on soft probabilistic splits. In its original formulation it was trained by maximum likelihood, and is therefore prone to over-fitting. Furthermore the maximum likelihood framework offers no natural metric for optimizing the complexity and structure of the tree. Previous attempts to provide a Bayesian treatment of the HME model have relied either on ad-hoc local Gaussian approximations or have dealt with related models representing the joint distribution of both input and output variables. In this paper we describe a fully Bayesian treatment of the HME model based on variational inference. By combining local and global variational methods we obtain a rigourous lower bound on the marginal probability of the data under the model. This bound is optimized during the training phase, and its resulting value can be used for model order selection. We present results using this approach for a data set describing robot arm kinematics.

연구 동기 및 목표

• 최대우도 기반으로 학습되는 전통적 계층적 혼합 전문가(HME) 모델에서의 과적합 문제를 해결한다.
• 모델 복잡도 및 구조 선택을 지원하는 원리적인 베이지안 처리 방법을 제공한다.
• 정확한 사후 분포 추정을 위해 국소적 및 전역적 근사 방법을 조합한 변분 추론 프레임워크를 개발한다.
• 우도의 하한을 통해 자동으로 모델 순서를 선택할 수 있도록 한다.
• 실제 응용 사례인 로봇 팔 운동학 예측 작업에서의 성능을 입증한다.

제안 방법

• 모든 모델 파라미터, 전문가 가중치 및 게이팅 네트워크 파라미터에 사전분포를 설정하여 완전한 베이지안 HME 모델을 수립한다.
• 각 데이터 포인트에 대해 잠재변수 및 전문가 파라미터의 사후분포를 근사하기 위해 국소적 변분 추론을 적용한다.
• 초모수 및 트리 구조의 결합 사후분포를 근사하기 위해 전역적 변분 추론을 사용한다.
• 국소적 및 전역적 변분 근사를 조합하여 우도의 하한을 유도한다.
• 학습 중에 변분 하한을 최적화하여 동시에 모델 파라미터 학습과 최적의 트리 구조 선택을 수행한다.
• 최종 하한값을 모델 순서 선택 기준으로 활용하여 더 단순하고 일반화 능력이 뛰어난 모델을 선호한다.

실험 결과

연구 질문

• RQ1 최대우도 학습 방식과 비교해 볼 때, 완전한 베이지안 처리 방식이 HME 모델의 일반화 성능 향상과 과적합 감소에 기여하는가?
• RQ2 HME의 계층적 구조를 다룰 수 있도록 국소적 및 전역적 근사 방법을 효과적으로 조합할 수 있는가?
• RQ3 변분 하한이 최적의 모델 복잡도 및 트리 구조 선택에 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ4 기존의 부호적 근사나 입력-출력의 공동 모델링에 의존하는 베이지안 HME 방법과 비교해 볼 때, 제안된 방법이 성능 면에서 뛰어나게 되는가?
• RQ5 실제 회귀 과제, 예를 들어 로봇 팔 운동학 예측 작업에서 이 방법의 성능은 어떠한가?

주요 결과

• 적절한 사전분포를 통해 불확실성을 반영함으로써, 제안된 베이지안 HME 모델은 최대우도 기반 HME보다 더 우수한 일반화 성능을 달성한다.
• 우도의 하한에 대한 변분 근사는 모델 선택에 신뢰할 수 있고 최적화된 지표를 제공하며, 자동적인 복잡도 제어를 가능하게 한다.
• 국소적 및 전역적 변분 근사의 조합은 이전의 부호적 방법보다 더 정확하고 안정적인 사후 근사를 제공한다.
• 로봇 팔 운동학 데이터셋에서 이 방법은 모델 적합도와 복잡도의 균형을 이루는 간결한 트리 구조를 성공적으로 식별한다.
• 최종 변분 하한 값은 기존의 AIC나 BIC와 같은 전통적 기준 대신 원리적인 모델 비교 기준으로 기능한다.
• 로봇 팔 데이터셋에 대한 실험 결과는 베이지안 HME 모델이 기준선 HME보다 더 낮은 예측 오차를 기록함을 보여준다.