[논문 리뷰] Adaptive Posterior Convergence Rates in Bayesian Density Deconvolution with Supersmooth Errors

Abhra Sarkar, Debdeep Pati외 2명|arXiv (Cornell University)|2013. 08. 25.

Statistical Methods and Inference참고 문헌 23인용 수 3

한 줄 요약

이 논문은 초연성 오차를 가진 베이지안 밀도 디컨볼루션에서 정규분포 혼합의 디리클레 과정 사전을 사용하여 적응형 사후 수렴 속도를 확립한다. 이는 미세한 尾 꼬리 조건 하에 $2 \leq p \leq \infty$ 인 $L_p$ 노름에서 최소 최대 속도 $(\log n)^{-\eta/\beta}$ 로 사후가 수렴함을 증명하며, 진짜 밀도의 매끄러움도 $\eta$ 에 대해 적응적으로 이루어진다. 이는 비모수 사전을 사용한 디컨볼루션에서 적응형 최소 최대 사후 집중의 이론적 확인을 처음으로 이룬다.

ABSTRACT

Bayesian density deconvolution using nonparametric prior distributions is a useful alternative to the frequentist kernel based deconvolution estimators due to its potentially wide range of applicability, straightforward uncertainty quantification and generalizability to more sophisticated models. This article is the first substantive effort to theoretically quantify the behavior of the posterior in this recent line of research. In particular, assuming a known supersmooth error density, a Dirichlet process mixture of Normals on the true density leads to a posterior convergence rate same as the minimax rate $(\log n)^{-η/β}$ adaptively over the smoothness $η$ of an appropriate Hölder space of densities, where $β$ is the degree of smoothness of the error distribution. Our main contribution is achieving adaptive minimax rates with respect to the $L_p$ norm for $2 \leq p \leq \infty$ under mild regularity conditions on the true density. En route, we develop tight concentration bounds for a class of kernel based deconvolution estimators which might be of independent interest.

연구 동기 및 목표

• 초연성 측정 오차가 있는 베이지안 밀도 디컨볼루션에서 이론적 사후 집중 속도를 확립하는 것.
• 디리클레 과정 혼합 정규분포(DPMM) 사전이 $L_p$ 노름에서 적응형 최소 최대 사후 수렴 속도를 달성할 수 있는지 조사하는 것.
• 사후 일致성과 최적 속도를 확보하기 위해 진짜 밀도와 오차 밀도에 필요한 최소 정규성 조건을 규명하는 것.
• 기존의 표준 밀도 추정에서의 사후 일치 결과를 측정 오차가 있는 디컨볼루션 설정으로 확장하는 것.
• 사전 지식 없이도 사후가 최소 최대 속도로 수렴하도록 보장하는 충분한 조건을 제공하는 것, 특히 진짜 밀도의 매끄러움 $\eta$ 를 알지 못해도 된다.

제안 방법

• 모르는 밀도 $f_X$ 에 대해 정규분포 혼합의 디리클레 과정 사전을 사용하며, 공액 정규 기저 측도와 대역폭에 대해 인버스 감마 분포 사전을 사용한다.
• 커널 기반 디컨볼루션 추정량을 기준선으로 사용하고, 이를 정밀한 집중 경계로 도출하며, 이는 사후 수렴 분석에 사용된다.
• 켈블랙-라이블러(KL) 발산과 엔트로피 조건에 기반한 일반적인 사후 수렴 프레임워크를 사용하며, 이를 디컨볼루션 설정에 적응시킨다.
• KL 발산, 엔트로피, 사전 집중 경계를 포함한 충분한 조건의 검증을 통해 $L_p$ 노름에서의 사후 수렴을 확립한다.
• 타라그랑의 부등식과 경험 과정의 모멘트 경계를 사용하여 사후 수렴 분석에서 경험 과정 항을 제어한다.
• 편향과 분산을 균형 잡기 위해 최적의 대역폭 $h_n \asymp (\log n)^{-1/\beta}$ 를 유도하며, 이를 사후 집중 속도와 연결한다.

실험 결과

연구 질문

• RQ1 정규분포 혼합의 디리클레 과정 사전이 초연성 오차가 있는 베이지안 밀도 디컨볼루션에서 적응형 최소 최대 사후 수렴 속도를 달성할 수 있는가?
• RQ2 사후가 최소 최대 속도로 수렴하기 위해 진짜 밀도와 오차 밀도에 필요한 최소 정규성 조건은 무엇인가?
• RQ3 $L_p$ 노름($2 \leq p \leq \infty$)에서의 사후 집중 속도가 최빈 빈도 최소 최대 속도 $(\log n)^{-\eta/\beta}$ 와 일치하는가?
• RQ4 사전 지식 없이도 이 속도를 적응적으로 달성할 수 있는가? 특히 진짜 밀도의 매끄러움 $\eta$ 를 알지 못해도 된다.
• RQ5 진짜 밀도와 오차 밀도의 꼬리 조건은 디컨볼루션에서 사후 집중에 어떤 영향을 미치는가?

주요 결과

• 진짜 밀도와 오차 밀도에 대해 약한 다항 꼬리 조건이 만족될 경우, $2 \leq p \leq \infty$ 인 $L_p$ 노름에서 사후 분포가 최소 최대 속도 $(\log n)^{-\eta/\beta}$ 로 수렴한다.
• 진짜 밀도의 매끄러움 $\eta$ 를 사전에 알지 못해도 적응형 최소 최대 사후 집중이 달성되며, 이는 메서드가 완전히 적응적임을 의미한다.
• 속도 $(\log n)^{-\eta/\beta}$ 는 최적이며, 초연성 오차가 있는 디컨볼루션의 최빈 빈도 최소 최대 속도와 일치한다.
• 커널 기반 디컨볼루션 추정량에 대한 정밀한 집중 경계를 도출하였으며, 이는 별도의 관심사가 있으며 사후 수렴 증명에 사용된다.
• 사후 수렴 증명은 타라그랑의 부등식과 경험 과정의 모멘트 경계를 사용하여 KL 발산과 엔트로피 조건을 검증하는 데 의존한다.
• 가속된 속도의 경우, 오차 분산 $\sigma_n \asymp n^{-1/(2\eta+1)}(\log n)^{t/\eta}$ 를 만족하고 $t > (2 + 1/\eta + 1/c_3)/(2 + 1/\eta)$ 라면, 사후 수렴 속도는 $n^{-\eta/(2\eta+1)}(\log n)^t$ 로 수렴하며, 이는 표준 밀도 추정의 속도와 일치한다.