[논문 리뷰] Adaptive Bayesian density estimation using Pitman-Yor or normalized inverse-Gaussian process kernel mixtures

Catia Scricciolo|arXiv (Cornell University)|2012. 10. 30.

Bayesian Methods and Mixture Models참고 문헌 37인용 수 4

한 줄 요약

이 논문은 피트만-요르 또는 정규화된 역가우스 분포 과정 커널 혼합을 사전으로 사용하여 적응형 베이지안 밀도 추정을 제안하며, $L^p$-노름에서 소볼레프 및 해석적 밀도에 대해 로그 인자까지 최소자승 최적의 사후 수축 속도를 달성한다. 주요 기여는 부드러움 클래스 전반에 걸쳐 계층 베이지안 절차의 빈도주의 최적성의 수립이며, 해석적 밀도에 대해서는 거의 파rametric 수축 속도와 소볼레프 클래스에 대해서는 특정 사전 하에서 최적 속도를 달성한다.

ABSTRACT

We consider Bayesian nonparametric density estimation using a Pitman-Yor or a normalized inverse-Gaussian process kernel mixture as the prior distribution for a density. The procedure is studied from a frequentist perspective. Using the stick-breaking representation of the Pitman-Yor process or the expression of the finite-dimensional distributions for the normalized-inverse Gaussian process, we prove that, when the data are replicates from an infinitely smooth density, the posterior distribution concentrates on any shrinking $L^p$-norm ball, $1\leq p\leq\infty$, around the sampling density at a \emph{nearly parametric} rate, up to a logarithmic factor. The resulting hierarchical Bayesian procedure, with a fixed prior, is thus shown to be adaptive to the infinite degree of smoothness of the sampling density.

연구 동기 및 목표

• 피트만-요르 또는 정규화된 역가우스 분포(NIG) 과정 사전을 사용한 베이지안 비모수 밀도 추정의 빈도주의 사후 수축 속도를 연구하기 위해.
• 기존의 딜레트 과정을 초월하여 더 일반적인 과정을 사용하여 소볼레프 및 해석적 밀도 클래스에서의 적응형 추정을 확장하기 위해.
• $L^p$-노름에서의 성능을 평가하고, 특히 $p > 2$일 경우에 사전 선택이 수렴 속도에 미치는 영향을 평가하기 위해.
• 다양한 부드러움 수준에서 사후 집중이 최소자승 최적성에 도달할 조건을 수립하기 위해, 로그 인자까지의 수축 속도를 고려한다.

제안 방법

• 피트만-요르 과정의 스틱 브레이킹 표현과 정규화된 역가우스 분포 과정의 유한차원 분포를 사용하여 사전를 특성화한다.
• 일반적 커널(예: 슈퍼커널)을 사용한 커널 혼합을 통해 밀도를 근사하며, 특히 해석 함수의 푸리에 변환 성질을 활용한다.
• 근사 이론을 적용하여 해석적 밀도에 대해 정확한 Kullback-Leibler 오차를 갖는 유한지지 혼합 측도를 구성한다.
• $L^1$-혼합 측도의 볼에 대한 메트릭 엔트로피 경계를 사용하여 사전 집중과 사후 수축을 통제한다.
• 대칭적이며 단조감소하는 커널의 성질을 활용하여, 서로 다른 분산을 가진 혼합물 간의 $L^1$-거리에 대한 경계를 수립한다.
• 레마 0.7.9 및 관련 결과를 활용하여, 컴팩트 지지 혼합 측도를 가진 혼합물에 대해 초등형 근사 오차의 균일한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 피트만-요르 또는 정규화된 역가우스 분포 과정 사전은 비모수 밀도 추정에서 $L^p$-노름에 대해 최소자승 최적의 사후 수축 속도를 달성할 수 있는가?
• RQ2 피트만-요르 과정의 디스count 파라미터는 사후 수축 속도에 어떤 영향을 미치며, 특히 $p > 2$일 경우 어떻게 되는가?
• RQ3 이러한 사전를 사용하여 해석적 밀도에 대해 거의 파arametric 수축 속도를 달성할 수 있으며, 만약 가능하면 어떤 조건에서 이루어지는가?
• RQ4 커널 선택(예: 슈퍼커널)은 근사 정확도와 그로 인한 사후 집중에 어떤 영향을 미치는가?
• RQ5 이 프레임워크에서 사전 집중과 메트릭 엔트로피 경계가 사후 수축 속도에 얼마나 큰 영향을 미치는가?

주요 결과

• 소볼레프 밀도에 대해, 딜레트 또는 정규화된 역가우스 분포 과정 사전을 사용할 경우, $p \in [1,2]$에서 $L^p$-노름 하에서 사후가 진정한 밀도로 최소자승 최적의 속도(로그 인자까지)로 수축한다.
• $p > 2$일 경우, 동일한 사전 하에서 사후 수축 속도가 진정한 거듭제곱의 $n$에 의해 악화되며, 이는 고차원 $L^p$-노름에서 최적성의 손실을 시사한다.
• 엄격히 양의 디스count 파라미터를 가진 피트만-요르 과정을 사용할 경우, 사후 수축 속도는 하위 최적일 것으로 예상되나, 공식적인 증명은 제공되지 않는다.
• 푸리에 변환의 지수적 감쇠를 가지는 해석적 밀도에 대해, 거의 파arametric 수준의 사후 수축 속도를 달성하며, 푸리에 변환의 특성 지수는 자동으로 복원된다.
• 근사 레마(Lemma 0.6.1)는 Kullback-Leibler 발산에서 정확한 오차 순서를 갖는 유한지지 혼합 분포를 구성할 수 있게 하며, 이는 해석적 경우에 핵심적이다.
• $L^1$-혼합 측도의 볼에 대한 메트릭 엔트로피 경계가 유도되었으며, 이는 $\varepsilon$와 $s$에 대해 로그 의존성을 보이며, $r > 1$에 대해 $N \lesssim (a/s)^{r/(r-1)}$임을 보여주며, 이는 사전 집중을 통제한다.