[논문 리뷰] Generalized Exponential Concentration Inequality for Renyi Divergence Estimation

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|2016. 03. 28.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 9

한 줄 요약

이 논문은 d차원 단위입방체 위에서 두 개의 독립적 i.i.d. 표본을 사용하여 비모수적 Rényi-α 발산 추정기의 유한 표본 지수 농도 불등식을 처음으로 제시한다. 방법은 부드러운 Hölder-클래스 밀도 가정 하에 커널 밀도 추정을 활용하며, 표본 크기에 따라 지수적으로 감소하는 경계를 확립하여, 유한 표본에서 Rényi 발산 추정에 대해 처음으로 이러한 농도 결과를 입증한다.

ABSTRACT

Estimating divergences between probability distributions in a consistent way is of great importance in many machine learning tasks. Although this is a fundamental problem in nonparametric statistics, to the best of our knowledge there has been no finite sample exponential inequality convergence bound derived for any divergence estimators. The main contribution of our work is to provide such a bound for an estimator of Renyi divergence for a smooth Holder class of densities on the d-dimensional unit cube. We also illustrate our theoretical results with a numerical experiment.

연구 동기 및 목표

• 비모수적 Rényi-α 발산 추정기의 이론적 이해 격차를 메우기 위해 유한 표본 수렴 보장을 도출하는 것.
• 비모수적 통계에서 오랫동안 미해결된 문제인 어떤 비모수적 Rényi-α 발산 추정기의 첫 지수 농도 불등식을 제공하는 것.
• Hölder 연속성 조건 하에서 커널 기반 Rényi-α 발산 추정기의 편향과 분산에 대한 이론적 경계를 수립하는 것.
• d차원 단위입방체에 제한된 다변량 정규분포에 대한 수치 실험을 통해 이론적 경계를 검증하는 것.

제안 방법

• 두 개의 독립적 i.i.d. 표본으로부터 두 분포의 밀도를 추정하기 위해 d차원 단위입방체 [0,1]^d 위에서 곱 커널을 사용한 커널 밀도 추정을 수행한다.
• 테일러 전개와 Hölder 연속성 가정(부드러움 파라미터 β 및 노름 r)을 적용하여 경계 근처의 밀도 추정기의 편향을 경계한다.
• 커널 밀도 추정기의 편향 경계를 크기 O(h^{β})로 도출하며, 여기서 h는 대역폭이다.
• McDiarmid의 부등식을 사용하여 개별 표본 변경에 대한 발산의 민감도가 O(1/n)임을 보이고, 이로 인해 발산 추정기의 지수 농도 경계를 유도한다.
• Hölder 부등식과 표준 커널 밀도 추정 결과를 조합하여 편향과 분산 경계를 결합하고, 총 오차 경계를 O(h^{β} + h^{2β} + 1/(n h^d))로 도출한다.
• 대역폭 h를 최적화하여 밀도가 무한히 미분 가능할 경우(β = ∞) 평균 제곱오차가 O(n^{-1})이 되도록 한다.

실험 결과

연구 질문

• RQ1 유한 표본에서 비모수적 Rényi-α 발산 추정기의 지수 농도 불등식을 유도할 수 있는가?
• RQ2 Hölder 연속성 조건 하에서 Rényi-α 발산 추정에서 편향과 분산 간 최적의 트레이드오프는 무엇인가?
• RQ3 추정기의 수렴 속도는 기본 밀도의 차원 d와 부드러움 파라미터 β에 따라 어떻게 달라지는가?
• RQ4 실제 통계 모델에서 이론적 농도 경계를 경험적으로 검증할 수 있는가?

주요 결과

• 논문은 어떤 비모수적 Rényi-α 발산 추정기의 유한 표본 지수 농도 불등식을 처음으로 확립하여, 추정기가 표본 크기에 따라 지수적으로 진동하며 진짜 발산 주위에 높은 확률로 집중됨을 입증한다.
• Hölder 클래스 Σκ(β, L, r)에 속하는 밀도에 대해 커널 밀도 추정기의 편향은 크기 O(h^{β})로 경계된다. 여기서 h는 대역폭이고 β는 부드러움 파라미터이다.
• McDiarmid의 부등식을 통해 발산 추정기의 분산이 지수 尾 꼬리 경계를 만족함을 보였으며, 발산이 어떤 단일 표본에 대해 O(1/n)의 민감도를 갖는다.
• 추정기의 총 평균 제곱오차는 O(h^{β} + h^{2β} + 1/(n h^d))로 경계되며, 밀도가 무한히 미분 가능할 경우(β = ∞) 최적의 속도 O(n^{-1})을 달성한다.
• d=3인 정규분포에 대해 [0,1]^3에 제한된 수치 실험은 이론적 수렴 속도를 확인하였으며, 경험적 평균 제곱오차가 유도된 O(n^{-1}) 경계와 일치함을 보였다.
• 표본 크기가 1에서 5000에 이르는 범위에서 이론적 농도 경계가 경험적 오차를 밀도 있게 따라가며, 유도된 부등식의 날카로움을 검증하였다.