[논문 리뷰] Variational Relevance Vector Machines

Chris Bishop, Michael E. Tipping|arXiv (Cornell University)|2013. 01. 16.

Face and Expression Recognition참고 문헌 23인용 수 357

한 줄 요약

이 논문은 변분 추론을 사용하여 Relevance Vector Machine(RVM)의 완전한 베이지안 공식을 제안하며, 매개변수와 초매개변수에 대한 전체 사후 분포를 제공한다. 기존의 증거 프레임워크를 변분 추론으로 대체함으로써, 예측 정확도와 희소성 유지와 함께 불확실성 정량화 및 모델 해석성 향상을 달성하였다. 이를 통해 시뮬레이션 및 실세계 데이터셋에서 성능을 입증하였다.

ABSTRACT

The Support Vector Machine (SVM) of Vapnik (1998) has become widely established as one of the leading approaches to pattern recognition and machine learning. It expresses predictions in terms of a linear combination of kernel functions centred on a subset of the training data, known as support vectors. Despite its widespread success, the SVM suffers from some important limitations, one of the most significant being that it makes point predictions rather than generating predictive distributions. Recently Tipping (1999) has formulated the Relevance Vector Machine (RVM), a probabilistic model whose functional form is equivalent to the SVM. It achieves comparable recognition accuracy to the SVM, yet provides a full predictive distribution, and also requires substantially fewer kernel functions. The original treatment of the RVM relied on the use of type II maximum likelihood (the `evidence framework') to provide point estimates of the hyperparameters which govern model sparsity. In this paper we show how the RVM can be formulated and solved within a completely Bayesian paradigm through the use of variational inference, thereby giving a posterior distribution over both parameters and hyperparameters. We demonstrate the practicality and performance of the variational RVM using both synthetic and real world examples.

연구 동기 및 목표

• 표준 SVM 및 RVM의 한계를 극복하기 위해 불확실성 정량화를 제공하는 완전한 베이지안 처리를 제공하기 위해.
• 초매개변수 추정을 위한 증거 프레임워크를 변분 추론 접근법으로 대체하기 위해.
• RVM 프레임워크 내에서 모델 매개변수와 초매개변수에 대한 사후 분포를 유도하기 위해.
• 변분 RVM의 실용성과 성능을 시뮬레이션 및 실세계 데이터에서 입증하기 위해.
• 완전한 확률적 추론을 가능하게 하면서도 RVM의 희소성과 높은 예측 정확도를 유지하기 위해.

제안 방법

• 진짜 사후 분포를 근사하기 위해 변분 추론을 사용하여 RVM을 완전한 베이지안 프레임워크 내에 수립한다.
• 모든 매개변수와 초매개변수에 대한 근사 사후 분포를 도출하기 위해 평균장 변분 추론을 적용한다.
• 사전 확률 하에서 증거 하한(lower bound, ELBO)를 사용하여 사후 분포에 대한 변분 업데이트를 유도한다.
• 해석적 업데이트를 가능하게 하기 위해 가중치에 대해 정규 분포 사전분포와 초매개변수에 대해 공액 역감마 분포 사전분포를 사용한다.
• 학습 데이터 포인트 중심의 커널 함수를 사용하며, 자동 관련성 결정(ARD)을 통해 희소성을 강제한다.
• 모르는 확률적 추론을 가능하게 하기 위해 변분 매개변수를 반복적으로 최적화하여 마진 가능도의 하한을 최대화한다.

실험 결과

연구 질문

• RQ1 변분 추론이 Relevance Vector Machine에 효과적으로 적용되어 전체 베이지안 추론을 가능하게 할 수 있는가?
• RQ2 예측 정확도와 희소성 측면에서 변분 RVM의 성능이 원래 RVM과 비교하여 어떻게 되는가?
• RQ3 변분 RVM은 계산 효율성을 유지하면서 의미 있는 불확실성 추정을 제공하는가?
• RQ4 변분 접근법은 증거 프레임워크와 유사한 수준의 초매개변수 학습과 희소 모델 생성을 일관되게 수행할 수 있는가?
• RQ5 이 방법은 실세계 패턴 인식 작업에서 어떻게 스케일링되고 성능을 발휘하는가?

주요 결과

• 변분 RVM은 매개변수와 초매개변수에 대한 전체 사후 분포를 성공적으로 생성하여 불확실성 정량화를 가능하게 하였다.
• 기존 RVM 및 SVM과 유사하거나 더 뛰어난 예측 정확도를 유지하면서도, 유사하거나 더 뛰어난 희소성 성능를 보였다.
• 변분 추론 프레임워크는 수치적 불안정성이 심한 증거 프레임워크를 피하면서도 안정적이고 효율적인 최적화를 제공하였다.
• 기준 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 지지 벡터의 수가 크게 감소하였다.
• 시뮬레이션 및 실세계 데이터에 대한 경험적 결과는 방법의 강건성과 실용성을 확인하였다.
• 초매개변수에 대한 사후 분포는 모델 복잡도와 특징의 관련성에 대한 의미 있는 통찰을 제공하였다.