[논문 리뷰] Multivariate f-Divergence Estimation With Confidence

Kevin R. Moon, Alfred O. Hero|arXiv (Cornell University)|2014. 11. 07.

Advanced Statistical Methods and Models참고 문헌 34인용 수 29

한 줄 요약

이 논문은 두 개의 알려지지 않은 분포 간의 다변량 f-분산에 대한 비모수적 엔semble 추정량의 점점 정규성을 확립하며, 평균 제곱 오차(MSE) 수렴 속도가 $O(1/T)$임을 보여준다. 이 방법은 부드러움 조건과 유한 지지 조건을 만족할 경우 추정량의 표본 분포가 정규 분포로 수렴함을 증명함으로써, 가설 검정 및 신뢰구간 구축과 같은 타당한 통계적 추론을 가능하게 한다.

ABSTRACT

The problem of f-divergence estimation is important in the fields of machine learning, information theory, and statistics. While several nonparametric divergence estimators exist, relatively few have known convergence properties. In particular, even for those estimators whose MSE convergence rates are known, the asymptotic distributions are unknown. We establish the asymptotic normality of a recently proposed ensemble estimator of f-divergence between two distributions from a finite number of samples. This estimator has MSE convergence rate of O(1/T), is simple to implement, and performs well in high dimensions. This theory enables us to perform divergence-based inference tasks such as testing equality of pairs of distributions based on empirical samples. We experimentally validate our theoretical results and, as an illustration, use them to empirically bound the best achievable classification error.

연구 동기 및 목표

• 비모수적 f-분산 추정량에 대한 점점 분포 이론의 부재를 다루기 위해, 기존에 알려진 일致성과 MSE 수렴 속도와는 별개로 이론적 기반을 마련하고자 한다.
• 유한 표본에서의 f-분산 추정량에 대해 가설 검정 및 신뢰구간 구축과 같은 통계적 추론 작업을 가능하게 하고자 한다.
• 엔트로피 추정에서의 점점 정규성 결과를 부드러운 조건 하에서 일반적인 f-분산 추정으로 확장하고자 한다.
• 밀도 지지의 지식이 필요로 하지 않으며, 이론적으로 타당하고 구현 가능한 추정량을 제공하고자 한다. 특히 고차원에서 잘 작동하도록 한다.

제안 방법

• 커널 밀도 플러그인 추정과 오프라인 볼록 최적화를 기반으로 한 가중치 부여된 엔셈블 추정량을 제안한다.
• 다양한 대역폭을 가진 커널 밀도 추정량의 시퀀스를 사용하여, 강건한 비모수적 f-분산 추정량을 구성한다.
• 부드러움, 유한 지지, 그리고 밀도 하한 조건 하에서 추정량의 점점 분포를 도출하기 위해 엔셈블 추정량에 대한 정규화 체계를 적용한다.
• 특성 함수 분석과 모멘트 경계를 통한 다변량 중심극한정리의 추론을 활용하여 표본 분포가 표준 정규 분포로 수렴함을 증명한다.
• 모멘트 전개와 마르코프 부등식을 사용하여 대역폭 간의 교차항 의존성을 제어하기 위해 공분산 감쇠 속도를 유도한다.
• 이론적 결과를 실증 실험을 통해 검증하여 고차원 환경에서의 수렴성과 추론 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 표준 정규성 조건 하에서 비모수적 엔셈블 f-분산 추정량이 점점 정규성을 확보하는가?
• RQ2 점점 정규성 결과를 활용하여 f-분산 추정량에 대해 타당한 신뢰구간을 구축할 수 있는가?
• RQ3 추정량의 평균 제곱 오차 수렴 속도는 얼마이며, 기존 방법과 비교해 볼 때 어떻게 되는가?
• RQ4 표본 데이터를 기반으로 두 분포가 동일하다는 귀무가설을 검정하는 데 추정량을 사용할 수 있는가?
• RQ5 기본 밀도의 지지 정보를 알지 못하는 조건에서 고차원 환경에서 추정량은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 엔셈블 f-분산 추정량은 $O(1/T)$의 평균 제곱 오차 수렴 속도를 확보하며, 이는 파라미터 기반 속도와 일치한다.
• 부드러움, 유한 지지, 그리고 양의 밀도 하한 조건 하에서 추정량의 표본 분포는 정규 분포로 수렴한다.
• 점점 정규성 덕분에 f-분산에 대한 타당한 통계적 추론이 가능해지며, 가설 검정 및 신뢰구간 구축이 가능하다.
• 일부 경쟁 방법과 달리 밀도의 지지를 알 필요가 없어 실용적 적용 가능성이 향상된다.
• 실증 검증을 통해 이론적 수렴성과 함께 최적의 분류 오차를 제한하는 데의 유용성을 입증한다.
• 컴퓨터 계산의 단순성과 고차원으로의 확장성 측면에서 다른 방법보다 뛰어나며, 특히 지지 정보가 제공되지 않을 경우에 유리하다.