[논문 리뷰] Nonparametric Ensemble Estimation of Distributional Functionals

Kevin R. Moon, Kumar Sricharan외 2명|arXiv (Cornell University)|2016. 01. 26.

Bayesian Methods and Mixture Models참고 문헌 39인용 수 12

한 줄 요약

이 논문은 밀도의 지지 집합 경계에 대한 사전 지식이 필요 없이 부드러움 조건 하에서 파arametric 평균 제곱 오차 (MSE) 수렴 속도를 달성하는 분포 기능에 대한 비모수적 앙상블 추정기들을 제안한다. 이 방법은 최적의 가중치를 사용한 앙상블 추정을 통해 표준 커널 플러그인 추정기보다 우수한 성능을 보이며, 특히 고차원에서 뛰어난 성능을 발휘한다.

ABSTRACT

Distributional functionals are integral functionals of one or more probability distributions. Distributional functionals include information measures such as entropy, mutual information, and divergence. Recent work has focused on the problem of nonparametric estimation of entropy and information divergence functionals. Many existing approaches are restrictive in their assumptions on the density support set or require difficult calculations at the support boundary which must be known a priori. The MSE convergence rate of a leave-one-out kernel density plug-in divergence functional estimator for general bounded density support sets is derived where knowledge of the support boundary is not required. The theory of optimally weighted ensemble estimation is generalized to derive two estimators that achieve the parametric rate when the densities are sufficiently smooth. The asymptotic distribution of these estimators and some guidelines for tuning parameter selection are provided. Based on the theory, an empirical estimator of R\'enyi-$\alpha$ divergence is proposed that outperforms the standard kernel density plug-in estimator, especially in high dimension. The estimators are shown to be robust to the choice of tuning parameters.

연구 동기 및 목표

• 밀도 지지 집합에 대한 제한적인 가정이나 경계 위치에 대한 지식이 필요한 기존 비모수적 추정기의 한계를 해결하기 위해.
• 밀도가 충분히 부드러울 경우 지지 집합 경계에 대한 사전 지식이 필요 없이 파arametric MSE 수렴 속도를 달성하는 비모수적 앙상블 추정기를 개발하기 위해.
• 최적의 가중치를 사용한 앙상블 추정 이론을 분포 기능에 일반화하여 엔트로피와 발산 측정치의 개선된 추정을 가능하게 하기 위해.
• 조정 파rameter 선택을 위한 실용적 지침을 제공하고, 통계적 추론을 위한 제안된 추정기의 점근적 분포를 유도하기 위해.
• 특히 고차원 설정에서 표준 커널 밀도 플러그인 방법보다 뛰어난 성능을 보이는 레니-알파 발산의 경험적 추정기를 제안하기 위해.

제안 방법

• 지지 집합 경계 지식이 없이도 일반적인 유한 지지 집합 위에서 발산 기능에 대한 떠나온 한 개의 커널 밀도 플러그인 추정기의 평균 제곱 오차(MSE) 수렴 속도를 유도한다.
• 최적의 가중치를 사용한 앙상블 추정 이론을 일반화하여, 기저 밀도의 충분한 부드러움 조건 하에서 파arametric MSE 수렴 속도를 달성하는 두 가지 새로운 추정기를 구성한다.
• 특히 지지 집합 경계 근처에서의 추정 편향을 줄이기 위해 떠나온 한 개의 커널 밀도 추정을 사용하여 편향을 줄인다.
• 다양한 커널 밀도 추정치를 최적의 가중치 방법으로 조합하여 분산을 최소화하면서도 편향 제어를 유지한다.
• 제안된 추정기의 점근적 정규 분포를 유도하여 신뢰구간과 가설 검정과 같은 추론 응용을 지원한다.
• 앙상블 프레임워크에 기반한 경험적 레니-알파 발산 추정기를 제안하며, 조정 파rameter 선택에 대한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 지지 집합 경계에 대한 지식이 없이도 비모수적 앙상블 추정이 분포 기능에 대해 파arametric MSE 수렴 속도를 달성할 수 있는가?
• RQ2 최적의 가중치를 사용한 앙상블 추정 이론을 어떻게 일반화하여 엔트로피와 발산 기능의 추정을 향상시킬 수 있는가?
• RQ3 제안된 앙상블 추정기의 점근적 분포는 무엇이며, 이를 통계적 추론에 어떻게 활용할 수 있는가?
• RQ4 고차원 설정에서 제안된 레니-알파 발산 추정기의 성능은 표준 커널 플러그인 추정기와 비교해 어떻게 되는가?
• RQ5 실제 적용에서 조정 파arameter 선택에 대해 제안된 추정기는 어느 정도 강건한가?

주요 결과

• 기저 밀도가 충분히 부드러울 경우 지지 집합 경계에 대한 사전 지식이 없더라도 제안된 앙상블 추정기는 파arametric 평균 제곱 오차(MSE) 수렴 속도를 달성한다.
• 추정기의 점근적 분포가 도출되어 분포 기능에 대한 신뢰구간 및 가설 검정을 구축하는 데 사용할 수 있다.
• 경험적 레니-알파 발산 추정기는 특히 고차원 데이터 설정에서 표준 커널 밀도 플러그인 추정기보다 뛰어난 성능을 보인다.
• 조정 파arameter 선택에 대해 추정기들이 강건함을 보이며, 실질적으로 밴드위드스 및 커널 선택에 대한 민감도가 감소한다.
• 이론적 프레임워크는 일반적인 유한 지지 집합 위에서 분포 기능의 비모수적 추정을 가능하게 하여 이전의 지지 집합 지식에 대한 가정을 초월한다.