[논문 리뷰] Inconsistency of Pitman-Yor process mixtures for the number of components

Jeffrey W. Miller, Matthew Tom Harrison|arXiv (Cornell University)|2013. 08. 30.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 55

한 줄 요약

이 논문은 유한 혼합모형에서 성분 수를 추정할 때 피트만-요르 과정 혼합(Pitman-Yor process mixtures, PYMs)과 딜레트르 과정 혼합( Dirichlet process mixtures, DPMs)이 일致하지 않음을 보여준다. 베이지안 비모수통계에서 군집화와 밀도 추정에 널리 사용되지만, 데이터가 유한 혼합모형에서 생성되더라도 표본 크기가 증가함에 따라 군집 수에 대한 사후분포가 진짜 성분 수에 농축되지 않는다. 이 일치성 부족은 이산 및 연속 지수가운데, 다변수 정규분포를 포함한 다양한 성분 분포에 대해 일반적으로 성립한다.

ABSTRACT

In many applications, a finite mixture is a natural model, but it can be difficult to choose an appropriate number of components. To circumvent this choice, investigators are increasingly turning to Dirichlet process mixtures (DPMs), and Pitman-Yor process mixtures (PYMs), more generally. While these models may be well-suited for Bayesian density estimation, many investigators are using them for inferences about the number of components, by considering the posterior on the number of components represented in the observed data. We show that this posterior is not consistent --- that is, on data from a finite mixture, it does not concentrate at the true number of components. This result applies to a large class of nonparametric mixtures, including DPMs and PYMs, over a wide variety of families of component distributions, including essentially all discrete families, as well as continuous exponential families satisfying mild regularity conditions (such as multivariate Gaussians).

연구 동기 및 목표

• 유한 혼합모형에서 생성된 데이터일 때 Pitman-Yor 과정 혼합모형(PYMs)에서 군집 수에 대한 사후 추론이 일치하는지 조사하기.
• 표본 크기가 증가함에 따라 군집 수에 대한 사후분포가 진짜 성분 수에 농축되는지 여부를 확인하기.
• 이 일치성 부족 결과를 딜레트르 과정 혼합모형을 넘어서 더 넓은 비모수 혼합모형의 범주로 확장하기.
• 인구 유전학과 같이 성분 수가 유한하지만 자주 알려져 있지 않은 실용적 응용에서 PYMs의 행동 분석하기.
• PYMs와 DPMs가 알려진 유한 성분 수를 가진 데이터에서조차도 허위의 작은 군집을 생성하는 관찰된 경험적 현상에 대한 이론적 근거 제공하기.

제안 방법

• 저자들은 측도 이론 및 점근적 확률 도구를 사용하여 Pitman-Yor 과정 혼합모형에서 군집 수에 대한 사후분포를 분석한다.
• 관측 수가 증가함에 따라 군집 수에 대한 사후분포가 진짜 성분 수에 농축되지 않는 조건을 도출한다.
• 증명은 주로 매개변수 공간에서 가능도의 적분 행동을 분석하는 라플라스 근사 기법을 활용하며, 이는 가능도의 최대값 주변의 농축을 제어한다.
• 핵심 기술 도구로 다변수 라플라스 근사 경계(보조정리 C.1 및 추론 C.2)를 사용하여 사후분포의 尾행동과 가능도의 최대값 주변 집중도를 제어한다.
• 성분 분포의 전체 지수가운데에서 분석을 수행하고, 미약한 정규성 조건 하에서 일치성 실패를 확립한다.
• 이 프레임워크는 이산 및 연속 지수가운데 모두 적용 가능하며, 로그가능도의 매끄러움과 곡률 조건을 충족함으로써 다변수 정규분포 혼합모형 등에도 적용된다.

실험 결과

연구 질문

• RQ1 유한 혼합모형에서 생성된 데이터일 때 Pitman-Yor 과정 혼합모형의 군집 수에 대한 사후분포가 진짜 성분 수에 농축되는가?
• RQ2 군집 수에 대한 사후분포의 일치성 부족 현상은 딜레트르 과정 혼합모형에만 국한되는가, 아니면 더 넓은 범위의 Pitman-Yor 과정 혼합모형으로까지 확장되는가?
• RQ3 군집 수에 대한 사후분포가 일치하지 않는 조건은 어떤 성분 분포 가족에 대해 성립하는가?
• RQ4 왜 경험적 결과에서는 데이터가 알려진 유한 성분 수에서 유래되었음에도 불구하고 지속적인 작은 허위 군집이 나타나는가?
• RQ5 가능도의 주변 확률과 사후분포의 집중도에 대한 이론적 경계가 군집 추론에서 관찰된 일치성 부족 현상을 설명할 수 있는가?

주요 결과

• 표본 크기가 무한대에 가까워질수록 유한 혼합모형에서 생성된 데이터일지라도 Pitman-Yor 과정 혼합모형의 군집 수에 대한 사후분포가 진짜 성분 수에 농축되지 않는다.
• 이 일치성 부족 현상은 이산 지수가운데 전부와 연속 지수가운데 다변수 정규분포를 포함한 다양한 성분 분포에 대해, 미약한 정규성 조건 하에서 일반적으로 성립한다.
• 일치성 실패의 원인은 모형의 잘못된 특정화 때문이 아니라, 무한한 성분 수를 양의 확률로 허용하는 비모수 사전분포의 본질적 성질에서 기인한다.
• 실제(임팔라) 및 시뮬레이션된(bivariate Gaussian) 데이터에 대한 기니스 샘플링에서의 경험적 결과는 지속적인 작은 군집과 진짜 값으로 수렴하지 않는 군집 수에 대한 사후분포를 보여준다.
• 라플라스 근사 경계를 사용한 이론적 분석은 주변 가능도가 진짜 성분 수를 선호하지 않음을 확인하며, 이는 심지어 점근적으로도 허위 군집이 사라지지 않는 비율로 사후확률을 유지하기 때문이다.
• 이 일치성 부족 결과는 딜레트르 과정 혼합모형 뿐 아니라 더 일반적인 Pitman-Yor 과정 혼합모형에도 적용되며, 이는 진짜 유한 혼합 설정에서 군집 수에 대한 사후분포를 신뢰할 수 있는 추론 도구로 사용하는 것의 타당성을 훼손한다.