[논문 리뷰] Nonparametric Estimation of Renyi Divergence and Friends

Akshay Krishnamurthy, Kirthevasan Kandasamy외 2명|arXiv (Cornell University)|2014. 02. 12.

Statistical Mechanics and Entropy참고 문헌 27인용 수 41

한 줄 요약

이 논문은 연속 확률 밀도 간의 L2, Rényi-α, Tsallis-α 분리도에 대한 비모수적 추정기들을 제안한다. 이 추정기는 von Mises 전개 기반 보정 플러그인 추정기법을 사용한다. 이들 추정기의 수렴 속도가 밀도의 스무스함 s > d/4 조건을 만족할 경우 파arametric 수렴 속도인 $ n^{-1/2} $ 를 달성함을 입증하였으며, 최소 최대 하한선을 유도하여 $ d/4 $ 가 최적 수렴 속도를 달성하기 위한 임계 스무스함 임계점임을 확인하였다.

ABSTRACT

We consider nonparametric estimation of L2, Renyi-α and Tsallis-α divergences between continuous distributions. Our approach is to construct estimators for particular integral functionals of two densities and translate them into divergence estimators. For the integral functionals, our estimators are based on corrections of a preliminary plug-in estimator. We show that these estimators achieve the parametric convergence rate of n−1/2 when the densities’ smoothness, s, are both at least d/4 where d is the dimension. We also derive minimax lower bounds for this problem which confirm that s>d/4 is necessary to achieve the n−1/2 rate of convergence. We validate our theoretical guarantees with a number of simulations.

연구 동기 및 목표

• 연속 분포 간의 L2, Rényi-α, Tsallis-α 분리도에 대한 비모수적 추정기 개발.
• 밀도에 대한 Hölder 스무스함 조건 하에서 이러한 추정기의 수렴 속도 규명.
• 제안된 추정기의 통계적 최적성 특성을 규명하기 위해 최소 최대 하한선 유도.
• 파arametric 수렴 속도인 $ n^{-1/2} $ 를 달성하기 위한 임계 스무스함 조건이 $ s > d/4 $ 임을 보여주기.
• 이론적 결과의 타당성을 수치 시뮬레이션을 통해 검증하기.

제안 방법

• 관심 있는 분리도들을 통합하는 적분 기능성 $ T(p,q) = \int p^\alpha(x) q^\beta(x) \, d\mu(x) $ 의 추정기 구성.
• 분리도 기능의 von Mises 전개에서 고차항을 추정함으로써 보정된 플러그인 추정기 사용.
• 초기 플러그인 추정기에 일阶 및 이阶 보정을 적용하여 수렴 속도 향상.
• 밀도 차이의 기능적 테일러 전개(즉, von Mises 전개)를 통해 분리도 기능의 수렴 속도 분석.
• Hölder 스무스 밀도 위에 랜덤라이제이션을 적용한 테스팅 프레임워크를 사용하여 최소 최대 하한선 도출.
• 추정 과정 내 중간 함수의 유계성과 연속성을 확보하기 위해 절삭된 커널 밀도 추정기 사용.

실험 결과

연구 질문

• RQ1 Rényi-α 및 Tsallis-α 분리도의 비모수적 추정에서 최적의 수렴 속도는 무엇인가?
• RQ2 플러그인 추정기의 보정이 난이도 추정기의 $ n^{-s/(2s+d)} $ 수렴 속도를 초월할 수 있는가?
• RQ3 분리도 추정에서 파arametric $ n^{-1/2} $ 수렴 속도를 달성하기 위해 필요한 최소 스무스함 $ s $ 는 얼마인가?
• RQ4 스무스함 $ s > d/4 $ 조건 하에서 $ n^{-1/2} $ 수렴 속도가 향상될 수 없으며, $ d/4 $ 가 임계 임계점임을 확인할 수 있는가?
• RQ5 Hölder 스무스함 조건 하에서 이러한 분리도에 대해 최소 최대 하한선을 도출할 수 있는가?

주요 결과

• 보정된 플러그인 추정기는 $ n^{-\min\{3s/(2s+d), 1/2\}} $ 의 수렴 속도를 달성하며, $ s > d/4 $ 일 경우 파arametric 수렴 속도인 $ n^{-1/2} $ 를 달성한다.
• 추정 속도에 대한 최소 최대 하한선은 $ s \leq d/4 $ 일 경우 $ \Omega(n^{-4s/(4s+d)}) $ 이며, $ s > d/4 $ 일 경우 $ \Omega(n^{-1/2}) $ 이다. 이는 제안된 추정기가 스무스한 영역에서 최적임을 확인한다.
• 파arametric 수렴 속도 $ n^{-1/2} $ 를 달성하기 위한 임계 스무스함 조건은 $ d/4 $ 이며, 이 아래에서는 수렴 속도가 $ n^{-s/(2s+d)} $ 로 떨어진다.
• 일阶 보정 추정기는 계산적으로 간결하며 $ n^{-\min\{2s/(2s+d), 1/2\}} $ 의 속도를 달성한다. 이는 난이도 플러그인 추정기의 $ n^{-s/(2s+d)} $ 속도보다 빠르다.
• 결과는 $ d/4 $ 가 수렴 속도에 대한 날카로운 임계점임을 확인하며, $ s \leq d/4 $ 일 경우 어떤 추정제도 $ n^{-1/2} $ 를 초과할 수 없다는 것을 의미한다.
• 수치 시뮬레이션은 이론적 수렴 속도를 검증하며, 보정된 추정기가 난이도 플러그인 방법보다 뛰어난 성능을 보임을 확인한다.