[논문 리뷰] Borrowing strength in hierarchical Bayes: convergence of the Dirichlet base measure

XuanLong Nguyen|arXiv (Cornell University)|2013. 01. 04.

Statistical Methods and Inference인용 수 3

한 줄 요약

이 논문은 기하학적 희소성 조건 하에서 운반 거리(transportation distances)를 사용하여 계층 디리클레 과정에서 기저 측도의 수렴 속도를 규명한다. 다수의 그룹 간에서 강도를 빌려쓰는 방식이 추정 효율성을 크게 향상시키며, 이로 인해 비모수적 수렴 속도에서 모수적 수렴 속도로의 전환을 이룬다.

ABSTRACT

This paper studies posterior concentration behavior of the base probability measure $G$ of a Dirichlet measure $\mathcal{D}_{\alpha G}$, given observations associated with $m$ Dirichlet processes sampled from $\mathcal{D}_{\alpha G}$, as $m$ and the number of observations $m imes n$ tend to infinity. The base measure itself is endowed with another Dirichlet prior, a construction known as the hierarchical Dirichlet processes (Teh et al, 2006). Convergence rates are established in transportation distances (i.e. Wasserstein metrics) under various geometrically sparse conditions on the support of the true base measure. As a consequence of the theory we demonstrate the benefit of borrowing strength in the inference of multiple groups of data --- a heuristic argument commonly used to motivate hierarchical modeling. In certain settings, the gain in efficiency due to the latent hierarchy can be dramatic, improving from a standard nonparametric rate to a parametric rate of convergence. Tools developed include transportation distances for nonparametric Bayesian hierarchies of random measures, the existence of tests for Dirichlet measures, and geometric properties of the support of Dirichlet measures.

연구 동기 및 목표

• 데이터 크기가 증가함에 따라 계층 디리클레 과정에서 기저 측도의 사후 집중 행동을 분석하는 것.
• 비모수 베이지안 모델링에서 '강도를 빌려쓰는 것'의 히우리스틱을 엄밀한 수렴 이론을 통해 수식화하는 것.
• 기하학적으로 희소한 지지 집합 조건 하에서 기저 측도에 대한 워셔스타인 거리 기반 수렴 속도를 확립하는 것.
• 계층 비모수 모델에서 랜덤 측도의 디리클레 측도 검정 및 지지 집합의 기하적 성질을 분석하기 위한 도구를 개발하는 것.

제안 방법

• 계층 디리클레 과정 프레임워크에서 기저 측도의 수렴을 측정하기 위해 운반 거리(워셔스타인 거리)를 사용한다.
• 기저 측도 $ G $ 에 디리클레 prior를 부여하여 Teh 등 (2006)의 방식과 같이 계층 디리클레 과정을 구성한다.
• 그룹 수 $ m $ 과 총 관측 수 $ m imes n $ 이 모두 무한대에 수렴함에 따른 渐近적 행동을 분석한다.
• 진짜 기저 측도의 지지 집합에 기하학적 희소성 조건을 도입하여 수렴 속도를 유도한다.
• 디리클레 측도에 대한 검정의 존재성 및 지지 구조의 기하학적 분석 도구를 활용한다.
• 진짜 기저 측도에 대한 정규성 및 희소성 가정 하에서 이론적 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 다양한 그룹의 데이터가 축적됨에 따라 계층 디리클레 과정에서 기저 측도의 사후 집중 행동은 어떻게 변화하는가?
• RQ2 진짜 기저 측도의 지지 집합에 어떤 조건이 성립하면 운반 거리 기반 수렴 속도가 빨라지는가?
• RQ3 그룹 간 강도를 빌려쓰는 방식이 비모수 베이지안 모델에서 추정 효율을 얼마나 향상시키는가?
• RQ4 계층적 구조는 표준 비모수적 수렴 속도가 아닌 모수적 수렴 속도를 이끌 수 있는가?
• RQ5 비모수 베이지안 계층 구조에서 수렴을 분석하기 위해 필요한 이론적 도구는 무엇인가?

주요 결과

• 진짜 기저 측도의 지지 집합에 기하학적 희소성 조건이 성립할 경우, 기저 측도의 사후 분포는 비모수적 수렴이 아닌 모수적 수렴 속도로 수렴한다.
• 계층적 구조는 다수의 그룹 간에서 강도를 빌려쓰는 방식으로 추정 효율을 크게 향상시키며, 이는 독립적인 비모수 추론보다 더 빠른 수렴을 이끈다.
• 워셔스타인 거리 기반 수렴 속도가 확립되어, 계층 모델에서 분포 간 비교에 엄밀한 기반을 제공한다.
• 디리클레 측도에 대한 검정의 존재성이 증명되어, 사후 집중의 이론적 분석을 뒷받침한다.
• 디리클레 측도의 지지 집합의 기하학적 성질이 수렴 행동을 결정하는 데 핵심적인 역할을 한다는 것이 입증되었다.
• 이론적으로 '강도를 빌려쓰는 것'의 일반적인 히우리스틱을 공식화하여, 유리한 조건 하에서 모수적 수렴 속도를 달성할 수 있음을 보여준다.