[논문 리뷰] Nonparametric learning from Bayesian models with randomized objective functions

Simon Lyddon, Stephen G. Walker외 1명|arXiv (Cornell University)|2018. 06. 29.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 15

한 줄 요약

이 논문은 모형 진실성 가정을 완화하기 위해 비모수적 사전분포를 모수적 모형 중심으로 설정하고 농도 매개변수 $ c $ 를 사용해 모형 신뢰도와 경험적 데이터 간의 균형을 조절하는 확장 가능한 베이지안 비모수적 학습 프레임워크를 제안한다. 이 방법은 모형 잘못설정 상황에서도 강건한 추론을 가능하게 하며, 사전분포 정규화를 지원하고, 표준 모수적 모형 및 변분 베이즈보다 뛰어난 예측 성능을 달성한다. 또한 몬테카를로 샘플링 기법이 간단히 병렬화 가능하다.

ABSTRACT

Bayesian learning is built on an assumption that the model space contains a true reflection of the data generating mechanism. This assumption is problematic, particularly in complex data environments. Here we present a Bayesian nonparametric approach to learning that makes use of statistical models, but does not assume that the model is true. Our approach has provably better properties than using a parametric model and admits a Monte Carlo sampling scheme that can afford massive scalability on modern computer architectures. The model-based aspect of learning is particularly attractive for regularizing nonparametric inference when the sample size is small, and also for correcting approximate approaches such as variational Bayes (VB). We demonstrate the approach on a number of examples including VB classifiers and Bayesian random forests.

연구 동기 및 목표

• 복잡하고 고차원적인 데이터 환경에서 흔히 위반되는 모형이 진실이라는 가정에 기인한 베이지안 추론의 근본적 한계를 해결하기 위해.
• 모형 진실성 요구 없이 모수적 모형으로부터 사전 지식을 통합하는 비모수적 베이지안 프레임워크를 개발하여 잘못설정에 대한 강건성을 향상시키기 위해.
• 관측 데이터와 가짜 샘플에서 유래한 모수적 사후분포를 포함한 확장된 데이터셋을 기반으로 한 후보부트스트랩 샘플러를 통해 확장 가능하고 병렬화 가능한 추론을 가능하게 하기 위해.
• 변분 베이즈와 같은 방법의 근사 오차를 비모수적 사후분포 업데이트에 통합함으로써 보정하기 위해.
• 비모수적 사후분포 하에서 목적함수를 무작위화함으로써 유틸리티 함수(예: 중앙값)에 대한 직접적 추론을 가능하게 하기 위해.

제안 방법

• 모형 기반 추론과 경험적 데이터 간의 상대적 영향력을 조절하는 농도 매개변수 $ c $ 를 사용하여, 모수적 모형 중심의 비모수적 사전분포를 사용한다.
• 관측 데이터와 모수적 사후분포에서 유도된 가짜 샘플로 구성된 확장된 데이터셋에 대해 사후부트스트랩을 적용함으로써, 비모수적 사후분포에서 몬테카를로 샘플링을 수행한다.
• 샘플링 분포에 딜레트 프로세스 사전분포를 도입하여 목적함수를 무작위화함으로써, 모형 진실성을 가정하지 않고도 불확실성을 정량화하는 무작위 최대우도 추정기의 도입을 가능하게 한다.
• 모형 정보를 통합하고 비모수적 사전분포 하에서 완전한 베이지안 업데이트를 허용함으로써, 가중치가 부여된 우도 부트스트랩을 일반화한다.
• 모형 기반 추론의 경우, $ c \to \infty $ 일 때 표준 베이지안 업데이트를 회복하며, $ c = 0 $ 일 때는 베이지안 부트스트랩으로 수렴하여 연속적인 보간을 제공한다.
• 샘플러는 간단히 병렬화 가능하다: 모수적 사후분포 샘플이 생성된 후에는 비모수적 업데이트를 입자별로 독립적으로 수행할 수 있다.

실험 결과

연구 질문

• RQ1 모형 진실성 가정을 하지 않으면서도 모형 잘못설정에 강건한 비모수적 사후분포 추론을 어떻게 실현할 수 있는가?
• RQ2 모형 유효성에 대해 무관심한 상태에서 모수적 모형으로부터 사전 지식을 통합할 수 있는 비모수적 사후분포를 어떻게 구성할 수 있는가?
• RQ3 농도 매개변수 $ c $ 는 비모수적 프레임워크에서 모형 기반 추론과 데이터 기반 추론 간의 트레이드오���을 어떻게 조절하는가?
• RQ4 이 프레임워크는 변분 베이즈의 근사 오차를 비모수적 사후분포에 통합함으로써 보정할 수 있는가?
• RQ5 이 방법은 잘못설정된 모형 하에서 인구 중앙값 추정과 같은 유틸리티 기반 추론에서 어떤 성능을 보이는가?

주요 결과

• 모형이 잘못설정된 경우, 특히 소표본 환경에서 표준 모수적 베이지안 모형과 변분 베이즈보다 예측 정확도에서 뛰어난 성능을 보인다.
• 베이지안 랜덤 포레스트의 경우, 제안된 BRF 방법은 원본 데이터와 합성 데이터를 모두 사용해 훈련한 전체 랜덤 포레스트(RF-all)와 유사한 성능을 달성하면서도, 오직 합성 샘플만을 사용함으로써 데이터 기밀성을 유지한다.
• 농도 매개변수 $ c $ 의 최적값은 외부 훈련 데이터셋의 크기와 약간의 경험적 일치를 보이며, 이는 효과적 표본 크기로서의 해석과 일치한다.
• $ c = 0 $ 일 때, 방법은 베이지안 부트스트랩으로 수렴하여 관측된 범위 내에서만 지원되는 샘플 중앙값에 대해 날카로운 피크를 가진 사후분포를 생성한다.
• $ c $ 가 증가함에 따라 사후분포는 점점 더 매끄럽고 모형에 의해 더 강하게 영향을 받으며, $ c \to \infty $ 일 때는 점차 모수적 사후분포로 수렴한다.
• 모형이 잘못설정되어도 사후부트스트랩은 진정된 데이터 생성 분포로의 쿨백-라이블러 발산을 최소화하는 매개변수를 목표로 하므로, 추정기의 불확실성에 대한 잘 정당화된 정량화를 제공한다.