[논문 리뷰] Generalized Bayesian Updating and the Loss-Likelihood Bootstrap

Simon Lyddon, Chris Holmes외 1명|arXiv (Cornell University)|2017. 09. 22.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 4

한 줄 요약

이 논문은 베이지안 비모수 프레임워크 하에서 기대 손실을 최소화하는 파라미터에 대한 사후 추출을 위해 가중 우도 부스팅을 확장한 손실-우도 부스팅을 소개한다. 이는 우도 함수를 비례적으로 조정함으로써 점점 더 일반화된 베이지안 업데이트에 연결되며, 점근적 페셔 정보를 통한 손실 함수 校정을 통해 전체 우도 사양 없이도 강건한 사후 추론을 가능하게 한다.

ABSTRACT

In this paper we revisit the weighted likelihood bootstrap, a method that generates samples from an approximate Bayesian posterior of a parametric model. We show that the same method can be derived, without approximation, under a Bayesian nonparametric model with the parameter of interest defined as minimising an expected negative log-likelihood under an unknown sampling distribution. This interpretation enables us to extend the weighted likelihood bootstrap to posterior sampling for parameters minimizing an expected loss. We call this method the loss-likelihood bootstrap. We make a connection between this and general Bayesian updating, which is a way of updating prior belief distributions without needing to construct a global probability model, yet requires the calibration of two forms of loss function. The loss-likelihood bootstrap is used to calibrate the general Bayesian posterior by matching asymptotic Fisher information. We demonstrate the methodology on a number of examples.

연구 동기 및 목표

• 우도 기반 추론을 초월하여 일반 기대 손실 함수를 최소화하는 파라미터에 대한 가중 우도 부스팅을 확장하는 것.
• 가중 우도 부스팅에 대한 원칙적인 비모수적 베이지안 해석을 제공함으로써 근사 오차를 제거하는 것.
• 점근적 페셔 정보를 사용하여 두 손실 함수를 校정함으로써 손실 기반 추론과 일반 베이지안 업데이트를 연결하는 것.
• 완전한 글로벌 확률 모델이 필요하지 않은 사후 추출 방법론을 개발하는 것.
• 손실-우도 부스팅이 다양한 통계 모델에서 강건하고 유연한 성능을 보이는지 확인하는 것.

제안 방법

• 기대 음의 로그우도 기반의 최대위험 기준을 갖는 비모수적 베이지안 모델 하에서 가중 우도 부스팅이 정확한 사후 추출 방법임을 도출한다.
• 임의의 기대 손실 함수를 최소화하는 파라미터로 방법을 일반화하고, 손실-우도 부스팅을 도입한다.
• 사후 분포의 점근적 페셔 정보를 기준 모델의 그것과 일치시킴으로써 손실-우도 부스팅과 일반 베이지안 업데이트 사이의 연결 고리를 확립한다.
• 일반 베이지안 업데이트에 필요한 두 손실 함수를 손실-우도 부스팅에서 유도된 점근적 페셔 정보를 사용하여 校정한다.
• 손실-우도 부스팅을 사용하여 최소한의 모델링 가정 하에서 점근적으로 타당한 사후 표본을 생성한다.
• 다양한 파라미터 모델에 방법을 적용하여 성능과 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 가중 우도 부스팅은 비모수적 베이지안 모델 하에서 근사 없이 유도될 수 있는가?
• RQ2 가중 우도 부스팅은 일반 손실 함수를 최소화하는 파라미터로 어떻게 확장될 수 있는가?
• RQ3 손실 함수 校정 측면에서 손실 기반 추론과 일반 베이지안 업데이트 사이의 관계는 무엇인가?
• RQ4 손실-우도 부스팅을 사용하여 점근적 페셔 정보 일치를 통해 일반 베이지안 사후를 校정할 수 있는가?
• RQ5 손실-우도 부스팅은 다양한 통계 모델에서 실무적으로 어떻게 성능을 발휘하는가?

주요 결과

• 가중 우도 부스팅이 최대위험 기준 기반의 기대 음의 로그우도를 갖는 비모수적 베이지안 모델 하에서 정확히 사후 추출과 동일시됨이 입증되었다.
• 손실-우도 부스팅은 임의의 기대 손실 함수를 최소화하는 파라미터에 대한 타당한 사후 추출을 가능하게 하여 우도 기반 추론을 초월한다.
• 점근적 페셔 정보를 사용한 손실 함수의 校정을 통해 손실 기반 추론과 일반 베이지안 업데이트 사이의 공식적 연결 고리를 수립한다.
• 손실-우도 부스팅 사후의 점근적 페셔 정보는 기준 우도 기반 사후와 일치하여 빈도주의 타당성을 보장한다.
• 이 방법은 전체 우도 사양이 불가능한 모델을 포함한 다양한 예제에서 효과적이고 강건함이 입증되었다.
• 오직 손실 함수만 제공될 경우, 손실-우도 부스팅은 전체 베이지안 모델링의 실용적이고 이론적으로 탄탄한 대안을 제공한다.