[논문 리뷰] Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs

Jun Zhu, Ning Chen외 1명|arXiv (Cornell University)|2012. 10. 05.

Gaussian Processes and Bayesian Inference참고 문헌 59인용 수 23

한 줄 요약

이 논문은 정보 이론적 최적화를 통한 사후 정규화를 통합하는 새로운 베이지안 추론 프레임워크인 RegBayes를 소개한다. 이는 비모수 베이지안 모델에 도메인 지식을 유연하게 통합할 수 있게 하며, 무한 잠재 SVM(iLSVM)과 다중 작업 iLSVM(MT-iLSVM)에 적용하여, 효율적인 변분 추론과 볼록 최적화, 이중 분해를 통해 마진 최대화 학습과 비모수 베이지안 학습을 결합함으로써 최신 기준 성능을 달성한다.

ABSTRACT

Existing Bayesian models, especially nonparametric Bayesian methods, rely on specially conceived priors to incorporate domain knowledge for discovering improved latent representations. While priors can affect posterior distributions through Bayes' rule, imposing posterior regularization is arguably more direct and in some cases more natural and general. In this paper, we present regularized Bayesian inference (RegBayes), a novel computational framework that performs posterior inference with a regularization term on the desired post-data posterior distribution under an information theoretical formulation. RegBayes is more flexible than the procedure that elicits expert knowledge via priors, and it covers both directed Bayesian networks and undirected Markov networks whose Bayesian formulation results in hybrid chain graph models. When the regularization is induced from a linear operator on the posterior distributions, such as the expectation operator, we present a general convex-analysis theorem to characterize the solution of RegBayes. Furthermore, we present two concrete examples of RegBayes, infinite latent support vector machines (iLSVM) and multi-task infinite latent support vector machines (MT-iLSVM), which explore the large-margin idea in combination with a nonparametric Bayesian model for discovering predictive latent features for classification and multi-task learning, respectively. We present efficient inference methods and report empirical studies on several benchmark datasets, which appear to demonstrate the merits inherited from both large-margin learning and Bayesian nonparametrics. Such results were not available until now, and contribute to push forward the interface between these two important subfields, which have been largely treated as isolated in the community.

연구 동기 및 목표

• 기존의 모수 기반 지식 추출 방식보다 더 유연한 사후 정규화를 통한 일반적인 베이지안 추론 프레임워크를 개발하는 것.
• 분류 및 다중 작업 학습 성능 향상을 위해 마진 최대화 학습 원리를 비모수 베이지안 모델에 통합하는 것.
• 무한 차원의 잠재 공간에서의 스케일러블 추론을 통해 예측 가능한 잠재 특징을 자동으로 발견할 수 있도록 하는 것.
• 오랜 기간 동안 별개의 개념으로 간주되어 온 마진 최대화 학습과 비모수 베이지안 통계 간 격차를 메우는 것.

제안 방법

• 정보 이론적 정규화 항을 포함한 사후 분포 최적화를 수행하는 정규화된 베이지안 추론 프레임워크인 RegBayes를 제안한다.
• 기대값 연산자와 같은 선형 연산자를 통한 정규화가 적용될 경우, 해를 특성화하기 위해 볼록 해석학을 사용한다.
• 무한 잠재 SVM(iLSVM)과 다중 작업 iLSVM(MT-iLSVM)를 구축하기 위해 프레임워크를 적용하여, 마진 최대화 제약 조건과 비모수 사전 분포를 결합한다.
• 잠재 변수, 모델 파라미터, 이중 변수에 대한 교차 갱신을 사용하는 평균 필드 변분 추론을 구현한다.
• 데이터로부터의 경험적 추정을 통해 초모수 σ₀² 및 σₙ₀²에 대한 폐쇄형 업데이트 규칙을 유도한다.
• 다중 클래스 SVM 솔버를 사용하여 이중 문제를 해결함으로써 마진 제약 조건의 효율적 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사후 정규화가 비모수 베이지안 모델에 체계적으로 통합될 수 있는가? 이는 잠재 특징 발견 및 예측 성능 향상에 기여하는가?
• RQ2 모델 복잡도를 사전에 고정하지 않고도 마진 최대화 학습 원리를 비모수 베이지안 모델에 자연스럽게 통합할 수 있는가?
• RQ3 선형 제약 조건이 적용된 사후 정규화 하에서 사후 분포의 이론적 특성은 어떻게 기술할 수 있는가?
• RQ4 제안된 프레임워크는 분류 및 다중 작업 학습 과제에서 표준 비모수 베이지안 모델과 마진 최대화 모델보다 성능이 뛰어나게 되는가?
• RQ5 사후 정규화와 비모수 사전 분포의 조합은 실제 데이터셋에서 일반화 능력과 확장성에 어떤 영향을 미치는가?

주요 결과

• RegBayes 프레임워크는 사후 정규화를 비모수 베이지안 모델에 성공적으로 통합하여, 제약 조건을 통한 사후 분포의 직접적 제어를 가능하게 한다.
• iLSVM 및 MT-iLSVM 모델은 마진 최대화 학습과 무한 잠재 특징 발견을 결합함으로써 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.
• 경험적 결과는 제안된 모델이 분류 정확도와 일반화 능력 측면에서 표준 SVM 및 비모수 베이지안 모델보다 뛰어나다는 것을 보여준다.
• 추론 알고리즘은 10~20회 반복 이내에 안정적으로 수렴하며, 목적 함수의 상대적 변화는 1e-3 및 1e-4 이하의 임계값을 충족한다.
• 폐쇄형 해법을 통한 초모수 추정(Eq. 86–87)은 대규모 데이터셋에서의 안정성과 확장성 향상에 기여한다.
• 이중 문제는 다중 클래스 SVM 솔버를 사용하여 효율적으로 해결되어 고차원 잠재 공간에서도 확장 가능한 학습을 가능하게 한다.