[논문 리뷰] Bayesian MISE Convergence Rates of Mixture Models Based on the Polya Urn Model: Asymptotic Comparisons and Choice of Prior Parameters

Sabyasachi Mukhopadhyay, Sourabh Bhattacharya|arXiv (Cornell University)|2012. 05. 17.

Bayesian Methods and Mixture Models인용 수 3

한 줄 요약

이 논문은 디리클레 과정 혼합 모델에서 성분 수의 상한과 정밀도 파라미터를 객관적으로 결정하기 위한 베이지안 渐近 프레임워크를 제안한다. 평균 제곱 오차의 베이지안 버전인 베이지안 MISE를 정의함으로써, 수정된 폴리아-우르니 기반 밀도 추정기의 최적 수렴 속도를 규명하여 점차적으로 최적의 모델 선택과 사전 분포 파라미터 조정을 가능하게 한다.

ABSTRACT

Mixture models are well-known for their versatility, and the Bayesian paradigm is a suitable platform for mixture analysis, particularly when the number of components is unknown. Bhattacharya (2008) introduced a mixture model based on the Dirichlet process, where an upper bound on the unknown number of components is to be specified. Here we consider a Bayesian asymptotic framework for objectively specifying the upper bound, which we assume to depend on the sample size. In particular, we define a Bayesian analogue of the mean integrated squared error (Bayesian MISE), and select that form of the upper bound, and also that form of the precision parameter of the underlying Dirichlet process, for which Bayesian MISE of a specific density estimator, which is a suitable modification of the Polya-urn based prior predictive model, converges at a desired rate. As a byproduct of our approach, we investigate asymptotic choice of the precision parameter of the traditional Dirichlet process mixture model; the density estimator we consider here is a modification of the prior predictive distribution of Escobar & West (1995) associated with the Polya urn model. Various asymptotic issues related to the two aforementioned mixtures, including comparative performances, are also investigated.

연구 동기 및 목표

• 표본 크기에 기반하여 혼합 모델에서 성분 수의 상한을 선택하기 위한 베이지안 점차적 프레임워크를 개발하는 것.
• 밀도 추정기 성능 평가를 위한 평균 통합 제곱 오차의 베이지안 유사체인 베이지안 MISE를 정의하는 것.
• 베이지안 MISE의 원하는 수렴 속도를 보장하기 위해 상한과 정밀도 파라미터의 최적 형태를 규명하는 것.
• 제안된 모델과 전통적인 디리클레 과정 혼합 모델 간의 점차적 성능 및 상대적 행동을 조사하는 것.
• 비모수 베이지안 혼합 모델링에서 사전 분포 파라미터 선택을 위한 객관적이고 데이터 기반의 지침을 제공하는 것.

제안 방법

• 혼합 모델에서 유도된 밀도 추정기의 추정 정확도를 측정하기 위한 베이지안 MISE 기준을 도입하는 것.
• 에스코버 및 웨스트(1995)의 사전 예측 분포의 수정된 형태를 사용하여, 폴리아 우르니 체계에 기반한 핵심 밀도 추정기를 설정하는 것.
• 성분 수의 상한 형태가 변화할 때 베이지안 MISE의 점차적 수렴 속도를 유도하는 것.
• 디리클레 과정의 정밀도 파라미터가 베이지안 MISE의 수렴 속도에 미치는 영향을 분석하는 것.
• 상한과 정밀도 파라미터를 최적화함으로써 베이지안 MISE가 원하는 속도로 수렴하는 조건을 설정하는 것.
• 제안된 모델과 표준 디리클레 과정 혼합 모델 간의 점차적 비교를 수행하여 상대적 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 폴리아-우르니 기반 밀도 추정기에서 베이지안 MISE를 최소화하기 위해 성분 수의 상한은 어떤 형태여야 하는가?
• RQ2 표본 크기의 점차적 관점에서 디리클레 과정의 정밀도 파라미터는 어떻게 선택되어야 하며, 이는 베이지안 MISE의 최적 수렴을 보장하는가?
• RQ3 제안된 모델과 전통적인 디리클레 과정 혼합 모델 간의 상대적 점차적 성능 특성은 무엇인가?
• RQ4 베이지안 MISE는 비모수 혼합 모델에서 사전 초모수 선택을 위한 신뢰할 수 있는 기준으로 사용될 수 있는가?
• RQ5 표본 크기와 베이지안 MISE 수렴의 최적 상한 선택 간의 관계는 무엇인가?

주요 결과

• 표본 크기에 따라 성분 수의 상한을 로그 또는 다항식 비율로 선택할 경우, 베이지안 MISE는 원하는 수렴 속도로 수렴한다.
• 디리클레 과정의 정밀도 파라미터는 표본 크기와 함께 로그적으로 증가해야 베이지안 MISE의 최적 수렴이 달성된다.
• 제안된 방법은 상한과 정밀도 파라미터 선택에 대해 객관적이고 점차적으로 타당한 접근을 제공하여 주관적인 선택을 피할 수 있다.
• 동일한 조건 하에서, 수정된 폴리아-우르니 기반 추정기는 기존 추정기보다 더 빠르고 안정적인 수렴을 달성한다.
• 점차적 비교 결과, 초모수를 최적화할 경우 제안된 모델이 기존 디리클레 과정 혼합 모델보다 MISE 수렴 측면에서 뛰어난 성능을 보인다.
• 이 프레임워크는 사전 초모수 선택에 대한 이론적 근거를 제공하여, 기본값이나 히وري스틱 선택의 대안이 되는 원칙적인 접근을 가능하게 한다.