[논문 리뷰] Nearest neighbor density functional estimation based on inverse Laplace transform

Shouvik Ganguly, Jongha Ryu외 3명|arXiv (Cornell University)|2018. 05. 21.

Advanced Statistical Methods and Models참고 문헌 67인용 수 7

한 줄 요약

이 논문은 밀도 함수에 대한 일반적인 밀도 기능을 위한 $L_2$-일致성 있는 $k$-최근접 이웃 추정기의 새로운 방법을 제안한다. 이는 밀도의 함수 $f$ 의 역 라플라스 변환을 사용한다. 점점 커지는 표본 크기에서 정규화된 $k$-NN 구의 부피가 감마 분포로 수렴함을 활용하여 점점 편향이 없어지는 추정기를 얻는다. 이는 샤논 및 레니 이종도와 분산을 포함한 기존 추정기를 복원하면서도, 로그 이종도 및 기타 기능을 위한 새로운 일치 추정기를 도입한다.

ABSTRACT

A new approach to $L_2$-consistent estimation of a general density functional using $k$-nearest neighbor distances is proposed, where the functional under consideration is in the form of the expectation of some function $f$ of the densities at each point. The estimator is designed to be asymptotically unbiased, using the convergence of the normalized volume of a $k$-nearest neighbor ball to a Gamma distribution in the large-sample limit, and naturally involves the inverse Laplace transform of a scaled version of the function $f.$ Some instantiations of the proposed estimator recover existing $k$-nearest neighbor based estimators of Shannon and Renyi entropies and Kullback--Leibler and Renyi divergences, and discover new consistent estimators for many other functionals such as logarithmic entropies and divergences. The $L_2$-consistency of the proposed estimator is established for a broad class of densities for general functionals, and the convergence rate in mean squared error is established as a function of the sample size for smooth, bounded densities.

연구 동기 및 목표

• 지역 밀도의 함수의 기대값으로 표현된 밀도 기능을 위한 일반적이고 $L_2$-일치성 있는 추정기 개발
• 엔트로피와 분산을 초과하는 다양한 기능에 대한 일관된 $k$-NN 기반 추정의 통합 프레임워크 부족 문제 해결
• 정규화된 $k$-NN 구 부피가 감마 분포로 수렴함을 이용하여 점점 편향이 없는 추정기 확립
• 기존에 다루지 않은 기능들, 예를 들어 로그 이종도와 같은 기능들에 대한 새로운 일치 추정기 클래스 도출

제안 방법

• 추정기는 밀도의 함수 $f$ 의 스케일링된 형태의 역 라플라스 변환을 사용하여 구성되며, 이는 관심 기능을 $k$-NN 거리 기반 추정에 적합한 형태로 매핑한다.
• 기본 밀도에 대한 규칙성 조건 하에서 정규화된 $k$-최근접 이웃 구의 부피가 점점 감마 분포로 수렴함을 활용한다.
• 점점 커지는 $k$-NN 거리의 점근적 분포 행동을 제어함으로써, 넓은 범위의 밀도에 대해 $L_2$-일치성을 확보한다.
• 이 방법은 샤논 및 레니 엔트로피, 쿨라크-라이블러 및 레니 분산에 대한 기존의 $k$-NN 추정기를 자연스럽게 특수 케이스로 포함한다.
• 부드럽고 유계인 밀도에 대해 표본 크기의 함수로 평균 제곱 오차 수렴 속도를 유도한다.
• 이 프레임워크를 통해 적절한 $f$ 함수를 지정함으로써 로그 엔트로피와 같은 기능에 대한 새로운 일치 추정기 설계가 가능해진다.

실험 결과

연구 질문

• RQ1 일반적인 밀도 기능을 위한 통합적이고 $L_2$-일치성 있는 추정기를 $k$-최근접 이웃 거리 기반으로 개발할 수 있는가?
• RQ2 역 라플라스 변환은 어떻게 $k$-NN 부피 통계에 기반한 점점 편향이 없는 추정기를 구성하는 데 사용될 수 있는가?
• RQ3 이 프레임워크로는 알려진 엔트로피와 분산을 초월하여 어떤 기능 클래스를 일관되게 추정할 수 있는가?
• RQ4 부드럽고 유계인 밀도에 대해 제안된 추정기의 평균 제곱 오차 수렴 속도는 무엇인가?
• RQ5 이 추정기는 샤논 및 레니 엔트로피와 분산에 대한 기존의 $k$-NN 추정기를 어떻게 복원하는가?

주요 결과

• 제안된 추정기는 넓은 범위의 밀도에 대해 $L_2$-일치성을 확보하여 진짜 기능 값으로 평균 제곱 오차 수렴을 보장한다.
• 정규화된 $k$-NN 구 부피가 대규모 표본에서 감마 분포로 수렴함에 따라 추정기는 점점 편향이 없어진다.
• 이 프레임워크는 샤논 및 레니 엔트로피, 쿨라크-라이블러 및 레니 분산에 대한 기존의 $k$-NN 추정기를 특수 케이스로 포함한다.
• 기존에 다루지 않은 기능들, 예를 들어 로그 엔트로피 및 분산에 대해 새로운 일치 추정기가 발견된다.
• 부드럽고 유계인 밀도에 대해 표본 크기의 함수로 평균 제곱 오차 수렴 속도가 확립된다.
• 역 라플라스 변환의 사용은 임의의 기능을 $k$-NN 거리 기반으로 추정 가능한 형태로 매핑하는 체계적인 방법을 제공한다.