[논문 리뷰] Bayesian estimators of the Gamma distribution

Alberto Llera, Christian F. Beckmann|arXiv (Cornell University)|2016. 07. 12.

Bayesian Methods and Mixture Models참고 문헌 7인용 수 3

한 줄 요약

이 논문은 형상 및 척도 매개변수에 대한 두 가지 새로운 베이지안 추정기들을 제안하며, 비정규화된 쌍대 기저 사전분포와 라플라스 근사를 사용하여 형상 매개변수에 대한 적절한 쌍대 기저 사전분포가 존재하지 않는 문제를 다룹니다. 주요 기여는 복잡한 베이지안 모델(예: 변분 베이지안 혼합 모델)에 감마 분포를 통합할 수 있도록 하여 편향을 통제하고 최대우도 해로 수렴하도록 하는 것입니다.

ABSTRACT

In this paper we introduce two Bayesian estimators for learning the parameters of the Gamma distribution. The first algorithm uses a well known unnormalized conjugate prior for the Gamma shape and the second one uses a non-linear approximation to the likelihood and a prior on the shape that is conjugate to the approximated likelihood. In both cases use the Laplace approximation to compute the required expectations. We perform a theoretical comparison between maximum like- lihood and the presented Bayesian algorithms that allow us to provide non-informative parameter values for the priors hyper parameters. We also provide a numerical comparison using synthetic data. The introduction of these novel Bayesian estimators open the possibility of including Gamma distributions into more complex Bayesian structures, e.g. variational Bayesian mixture models.

연구 동기 및 목표

• 감마 분포의 형상 매개변수에 대한 적절한 쌍대 기저 사전분포의 부재로 인한 전체 베이지안 추론의 어려움을 해결하기 위해.
• 감마 분포 자료를 위한 계산적으로 효율적이고 해석적으로 다룰 수 있는 베이지안 추정 방법을 개발하기 위해.
• 비정보성 히퍼파라미터 하에서 베이지안 추정기가 최대우도 해로 수렴함을 보장하여 기존의 최대우도 프레임워크와의 호환성을 확보하기 위해.
• 변분 베이지안 혼합 모델 및 다변량 분해와 같은 고급 베이지안 모델에 감마 분포를 통합할 수 있도록 지원하기 위해.
• 제안된 추정기의 편향 성질과 계산 효율성에 대한 이론적 및 수치적 검증을 제공하기 위해.

제안 방법

• 형상 매개변수에 대한 비정규화된 쌍대 기저 사전분포를 사용하는 베이지안 추정기(BL1)를 제안하며, 이는 비표준 형태의 비율 매개변수와 히퍼파라미터 a, b, c를 포함합니다.
• 형상 매개변수의 사후 기대값을 계산하기 위해 라플라스 근사를 사용하여 비가역적 적분을 피하기 위해.
• 형상 매개변수에 대한 쌍대 기저 사전분포를 사용하고, 감마 분포의 로그우도에 비선형 근사를 적용하는 두 번째 베이지안 추정기(BL2)를 도입합니다.
• 양쪽 방법 모두에서 라플라스 근사를 형상 매개변수의 사후분포에 적용하여 닫힌 형태의 기대값 추정을 가능하게 합니다.
• 형상 및 척도 매개변수의 사후 히퍼파라미터를 유도하며, 척도 매개변수의 업데이트는 표준 쌍대 기저 감마-감마 업데이트를 통해 이루어집니다.
• 히퍼파라미터를 선택하여 비정보성 사전분포 설정을 구현하며, 특히 b, c → 0+로 설정하고 a를 적절히 조정함으로써 사후분포가 최대우도 추정치로 수렴하도록 합니다.

실험 결과

연구 질문

• RQ1 형상 매개변수에 대한 적절한 쌍대 기저 사전분포가 존재하지 않는 상황에서도 감마 분포의 형상 매개변수에 대한 베이지안 추정기를 구성할 수 있는가?
• RQ2 비쌍대 기저 설정에서 형상 매개변수의 사후 기대값을 계산하기 위해 라플라스 근사를 효과적으로 적용할 수 있는가?
• RQ3 비정보성 히퍼파라미터 하에서 제안된 베이지안 추정기가 최대우도 해로 수렴하는가?
• RQ4 최대우도 방법과 비교할 때 베이지안 추정기의 계산 효율성과 편향 행동은 어떠한가?
• RQ5 이러한 베이지안 추정기는 변분 베이지안 혼합 모델과 같은 복잡한 모델로 확장될 수 있는가?

주요 결과

• 비정보성 히퍼파라미터를 사용할 경우 제안된 베이지안 추정기(BL1 및 BL2)는 최대우도 해로 수렴함을 확인함. 특히 b, c → 0+ 이며 a가 적절히 선택된 경우.
• 양쪽 베이지안 추정기의 계산 비용은 최대우도 방법과 유사하며, BL2는 비선형 우도 근사를 사용함으로써 ML2보다 훨씬 빠름.
• 수치 실험 결과, 베이지안 추정기는 최대우도 추정기와 동일한 편향 성질을 보이며, 작은 표본 크기에서도 최소한의 편향 보정이 필요함.
• 라플라스 근사는 형상 매개변수의 사후 평균을 추정하는 데 안정적이고 정확한 방법을 제공하며, 시뮬레이션에서 사후 평균이 진짜 값에 매우 가까이 수렴함.
• 형상 매개변수의 사후 히퍼파라미터(â, b̂, ĉ)는 충분통계량과 사전 히퍼파라미터에 의존하는 닫힌 형태의 표현식을 통해 업데이트됨.
• 이 프레임워크는 해석적 다룰 수 있음과 쌍대 기저 업데이트 호환성 덕분에, 변분 베이지안 혼합 모델 및 다변량 분해와 같은 고차원 베이지안 모델에 감마 분포를 통합하는 데 유용함.