[논문 리뷰] Ensemble estimators for multivariate entropy estimation

Kumar Sricharan, Dennis Wei외 1명|arXiv (Cornell University)|2012. 03. 26.

Machine Learning and Algorithms참고 문헌 11인용 수 7

한 줄 요약

이 논문은 k-NN 및 커널 기반 방법과 같은 다수의 천천히 수렴하는 밀도 기능 추정기들을 최적의 가중 선형 조합을 통해 조합하는 앙상블 추정기를 제안한다. 사전에 볼록 최적화 문제를 해결함으로써, 이 방법은 차원의 극복 문제 하에서 표준적인 $O(T^{-\gamma/d})$ 수렴 속도보다 크게 향상된 파arametric 평균 제곱 오차(MSE) 속도인 $O(T^{-1})$ 를 달성한다. 이는 엔트로피 및 왜곡-신뢰도 인자 추정에 적용 가능하다.

ABSTRACT

The problem of estimation of density functionals like entropy and mutual information has received much attention in the statistics and information theory communities. A large class of estimators of functionals of the probability density suffer from the curse of dimensionality, wherein the mean squared error (MSE) decays increasingly slowly as a function of the sample size $T$ as the dimension $d$ of the samples increases. In particular, the rate is often glacially slow of order $O(T^{-γ/{d}})$, where $γ>0$ is a rate parameter. Examples of such estimators include kernel density estimators, $k$-nearest neighbor ($k$-NN) density estimators, $k$-NN entropy estimators, intrinsic dimension estimators and other examples. In this paper, we propose a weighted affine combination of an ensemble of such estimators, where optimal weights can be chosen such that the weighted estimator converges at a much faster dimension invariant rate of $O(T^{-1})$. Furthermore, we show that these optimal weights can be determined by solving a convex optimization problem which can be performed offline and does not require training data. We illustrate the superior performance of our weighted estimator for two important applications: (i) estimating the Panter-Dite distortion-rate factor and (ii) estimating the Shannon entropy for testing the probability distribution of a random sample.

연구 동기 및 목표

• 다변량 엔트로피 및 기능 추정에서 차원의 극복 문제를 해결하기 위해, MSE 수렴 속도가 차원 $d$ 가 증가함에 따라 $O(T^{-\gamma/d})$ 로 악화되는 문제를 다루는 것.
• 학습 데이터가 필요 없이도 밀도 기능의 다수 추정기를 통합하는 일반적인 프레임워크를 개발하는 것.
• 고차원 설정에서 엔트로피 추정에 대해 파arametric MSE 수렴 속도인 $O(T^{-1})$ 를 달성하는 것.
• 학습 데이터나 밀도에 의존하는 파rameter 없이, 볼록 프로그래밍을 통해 실용적이고 데이터에 독립적인 가중치 최적화를 가능하게 하는 것.

제안 방법

• 조건 $\mathscr{C}.1$ 과 $\mathscr{C}.2$ 를 만족하는 추정기의 가중 선형 조합을 정의함으로써, 편향 감소와 더 빠른 수렴을 보장한다.
• 비밀 밀도에 독립적인 渐近적 MSE 를 최소화하는 볼록 최적화 문제를 해결함으로써 최적의 가중치를 유도한다.
• 필요한 정규성 조건을 만족하는 실용적인 앙상블 구성 요소로 균일 커널 플러그인 추정기를 사용한다.
• 앙상블 추정기를 두 가지 핵심 응용 분야에 적용한다: Panter-Dite 왜곡-신뢰도 인자 추정 및 분포 검증을 위한 샤논 엔트로피 검정.
• 테일러 전개와 모멘트 근사법을 사용하여 추정기의 편향과 분산 성분으로 분해하여 수렴 속도를 분석한다.
• 추정기의 분산은 $O(1/N)$ 으로 감소하고, 편향은 $O(1/M)$ 으로 감소함을 입증하며, 여기서 $M$ 과 $N$ 은 추정 과정에서의 표본 크기를 나타낸다.

실험 결과

연구 질문

• RQ1 천천히 수렴하는 추정기들의 가중 조합이 고차원 엔트로피 추정에서 파arametric MSE 수렴 속도인 $O(T^{-1})$ 를 달성할 수 있는가?
• RQ2 학습 데이터나 진짜 밀도에 대한 지식 없이도 이러한 앙상블에 최적의 가중치를 사전에 계산할 수 있는가?
• RQ3 간단한 균일 커널 플러그인 추정기가 앙상블이 가속 수렴을 달성하기 위해 필요한 조건을 만족하는가?
• RQ4 앙상블 방법이 왜곡-신뢰도 인자 추정 및 분포 검정과 같은 실용적 응용에 미치는 영향은 어떠한가?
• RQ5 이러한 고차원 환경에서 k-NN 또는 커널 밀도 추정기와 같은 개별 추정기와 비교해 성능가 어떻게 되는가?

주요 결과

• 제안된 앙상블 추정기는 $O(T^{-1})$ 의 평균 제곱 오차(MSE) 수렴 속도를 달성하며, 이는 파arametric이며 차원 $d$ 에 독립적이다. 이는 표준 추정기의 $O(T^{-\gamma/d})$ 수렴 속도보다 뚜렷이 뛰어나다.
• 최적의 가중치는 학습 데이터나 밀도에 의존하는 파rameter 가 필요 없는 볼록 최적화 문제를 통해 사전에 계산 가능하며, 이는 온라인 튜닝이나 밀도 기반 파rameter 가 필요 없음을 의미한다.
• 균일 커널 플러그인 추정기의 앙상블은 필요한 조건 $\mathscr{C}.1$ 과 $\mathscr{C}.2$ 를 모두 만족함을 입증하여, 이들이 프레임워크 내에서 사용 가능한 것으로 확인된다.
• 앙상블 추정기의 분산은 $O(1/N)$ 으로 감소하고, 편향은 $O(1/M)$ 으로 감소하며, 적절한 스케일링 하에 총 MSE 는 $O(T^{-1})$ 으로 수렴한다.
• 실증적 검증 결과, Panter-Dite 왜곡-신뢰도 인자 추정 및 랜덤 표본의 분포 검증을 위한 엔트로피 기반 검정에서 뛰어난 성능을 보였다.
• 대칭 커널과 절단을 요구하는 복잡한 추정기의 간단하면서도 강력한 대안을 제공하며, 유사하거나 더 빠른 수렴 속도를 확보한다.