[논문 리뷰] Influence Functions for Machine Learning: Nonparametric Estimators for Entropies, Divergences and Mutual Informations

Kirthevasan Kandasamy, Akshay Krishnamurthy외 3명|arXiv (Cornell University)|2014. 11. 17.

Statistical Methods and Inference참고 문헌 25인용 수 13

한 줄 요약

이 논문은 영향 함수를 사용하여 정보이론적 기능들—엔트로피, 발산, 상호정보량 등—에 대한 새로운 비모수적 추정 프레임워크를 제안한다. 이는 유사도 제거(LOO) 및 데이터 분할 기법을 활용하여 기존 추정기들보다 빠른 수렴 속도와 뛰어난 경험적 성능을 달성하며, 부드러움 조건 하에서 점근 정규성과 최소최대 최적성과 같은 이론적 보장을 제공한다.

ABSTRACT

We propose and analyze estimators for statistical functionals of one or more distributions under nonparametric assumptions. Our estimators are based on the theory of influence functions, which appear in the semiparametric statistics literature. We show that estimators based either on data-splitting or a leave-one-out technique enjoy fast rates of convergence and other favorable theoretical properties. We apply this framework to derive estimators for several popular information theoretic quantities, and via empirical evaluation, show the advantage of this approach over existing estimators.

연구 동기 및 목표

• 한 개 이상의 분포에 대한 통계 기능들을 위한 샘플 효율적인 비모수적 추정기를 개발하기 위해.
• 이론적으로 최적임에도 불구하고 실무에서 데이터 분할 추정기의 열악한 경험적 성능 문제를 해결하기 위해.
• 다중 분포 기능들에 대한 영향 함수 이론을 확장하고 수렴 속도 및 점근 정규성을 확립하기 위해.
• 충분한 부드러움 조건 하에서 정보이론적 양에 대한 최소최대 최적 추정기를 제공하기 위해.
• 다양한 기능들, 특히 조건부 형태까지 포함한 추정기들을 구성함으로써 프레임워크의 일반성을 입증하기 위해.

제안 방법

• 반정적 통계에서의 영향 함수를 활용하여 초기 추정기를 사후 교정하기 위해 von Mises 전개를 사용한다.
• 기존 데이터 분할(DF) 방법보다 샘플 효율성과 경험적 성능을 향상시키는 유사도 제거(LOO) 추정기를 도입한다.
• 유사도 제거 샘플에서 유도된 LOO 밀도 추정기 $ \widehat{p}_{XZ,-i}, \widehat{p}_{YZ,-i} $ 를 사용하여 $ S(a,b) = \int p_XZ^a p_YZ^b $ 형태의 기능들에 대한 추정기를 유도한다.
• 정규성 조건과 부드러움 $ s > d/2 $ 하에서 데이터 분할 추정기의 점근 정규성을 확립한다.
• 점근 분산의 일致 추정기를 $ \widehat{S}(a,b) $ 의 플러그인 추정을 통해 제공하여 신뢰구간을 가능하게 한다.
• 이 프레임워크를 적용하여 엔트로피, 발산, 상호정보량 및 그 조건부 변형에 대한 추정기를 도출한다.

실험 결과

연구 질문

• RQ1 영향 함수를 사용하여 수렴 속도가 빠른 정보이론적 기능들에 대한 비모수적 추정기를 구성할 수 있는가?
• RQ2 이론적으로 최적성을 유지하면서도 경험적 성능에서 데이터 분할보다 유사도 제거 추정기가 뛰어나게 성능을 높일 수 있는가?
• RQ3 다중 분포 기능들에 대한 추정기의 수렴 속도와 점근적 성질은 무엇인가?
• RQ4 부드러움 가정 하에서 제안된 추정기는 최소최대 최적인가?
• RQ5 이 프레임워크는 특정 정보 측정값을 넘어서 광범위한 기능들의 추정에 일반화될 수 있는가?

주요 결과

• LOO 추정기는 데이터 분할 추정기와 동일한 파라미터 수렴 속도를 달성하지만, 시뮬레이션에서 더 뛰어난 경험적 성능을 보였다.
• 다중 분포 기능들에 대한 데이터 분할 및 LOO 추정기는 충분한 부드러움 $ s > d/2 $ 조건 하에서 파라미터 수렴 속도를 달성한다.
• 데이터 분할 추정기는 $ p_{XZ} \neq p_{YZ} $ 인 경우 점근 정규성을 보이며, $ \widehat{S}(a,b) $ 의 플러그인을 통해 점근 분산의 일치 추정기가 유도된다.
• 다중 분포 기능들을 추정하는 데 대한 하한이 확립되었고, 부드러움 조건 하에서 데이터 분할 및 LOO 추정기 모두 최소최대 최적임이 입증되었다.
• 이 프레임워크는 조건부 발산 및 조건부 상호정보량과 같은 여러 기능들에 대해 알려진 바 없는 첫 번째 추정기를 도출하였으며, 많은 경우 전문화된 방법보다 뛰어난 성능을 보였다.
• 경험적 평가 결과, 이미지 클러스터링 작업에서 뛰어난 성능을 보였으며, 이는 실제 머신러닝 응용 분야에서 이 방법의 유용성을 검증한다.