[논문 리뷰] Estimation of R\\'enyi Entropy and Mutual Information Based on Generalized Nearest-Neighbor Graphs

Dávid Pál, Barnabás Póczos외 1명|arXiv (Cornell University)|2010. 03. 09.

Blind Source Separation Techniques참고 문헌 39인용 수 73

한 줄 요약

이 논문은 일반화된 k-최근접이웃 그래프와 경험적 코풀라 변환을 사용하여 레니 엔트로피와 상호정보량에 대한 비모수적 추정기의 구조를 제안한다. 립시츠 조건 하에서 거의 확실히 일致하는 성질을 입증하고 유한 표본에서의 고확률 오차 한계를 제공하며, 이는 이 클래스의 추정기들에 대해 레니 엔트로피 추정의 수렴 속도 분석을 처음으로 수행한 것이다.

ABSTRACT

We present simple and computationally efficient nonparametric estimators of R\\'enyi entropy and mutual information based on an i.i.d. sample drawn from an unknown, absolutely continuous distribution over $\\R^d$. The estimators are calculated as the sum of $p$-th powers of the Euclidean lengths of the edges of the `generalized nearest-neighbor' graph of the sample and the empirical copula of the sample respectively. For the first time, we prove the almost sure consistency of these estimators and upper bounds on their rates of convergence, the latter of which under the assumption that the density underlying the sample is Lipschitz continuous. Experiments demonstrate their usefulness in independent subspace analysis.

연구 동기 및 목표

• 밀도 추정에 의존하지 않고 계산적으로 효율적인 레니 엔트로피 및 상호정보량의 비모수적 추정기를 개발하는 것.
• 기존 증명에 결함이 있었던 k-최근접이웃 그래프 기반 레니 엔트로피 추정기의 수정 및 엄밀한 거의 확실히 일치하는 성질의 증명.
• 밀도가 립시츠 연속일 경우, 레니 엔트로피 추정에 대해 처음으로 유한 표본에서의 고확률 오차 한계(수렴 속도)를 확립하는 것.
• 경험적 코풀라와 k-최근접이웃 그래프를 사용하여 레니 상호정보량 추정으로의 방법 확장 및 d ≥ 3 및 α ∈ (1/2, 1)에서 강한 일致성 증명.
• 다양한 α 값에 대해 그래프 구조를 재사용할 수 있는 장점 덕분에, 일반화된 k-최근접이웃 그래프(모든 k개의 최근접이웃)가 MST나 TSP보다 실용적 이점이 있음을 보여주는 것.

제안 방법

• 각 점이 자신의 k개의 최근접이웃 중 임의의 부분집합에 연결된 일반화된 k-최근접이웃 그래프에서, 유클리드 거리의 p제곱의 합으로 레니 엔트로피를 추정한다.
• 원본 i.i.d. 표본을 단위 초입방체 [0,1]^d로 경험적 코풀라 변환하여 코풀라 기반 상호정보량 추정이 가능하도록 한다.
• i.i.d. 표본 하에서 진짜 코풀라 기반 그래프 길이와 경험적 코풀라 기반 길이의 차이를 바운딩하기 위해 편향 분석을 적용한다.
• 헤일리-브레이 또는 패투 유형 정리의 오용을 피하기 위해, 거리의 엔트로피와 커버링 추론 기반의 새로운 증명 기법을 사용하여 일치성과 수렴 속도를 확립한다.
• 표본 크기 n과 차원 d에 대한 명시적인 수렴 속도를 도출하기 위해, 농도의 립시츠 연속성과 농도 불확실성 부등식을 활용하여 고확률 오차 한계를 유도한다.
• 거리의 p제곱이 단조 증가함을 이용하여, p = d(1−α)에 따라 다양한 α 값에서 k-최근접이웃 그래프의 구조가 유지됨을 보여, 다중 α 추정에서의 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 일반화된 k-최근접이웃 그래프 기반 비모수적 레니 엔트로피 추정기가 거의 확실히 일치하는 것으로 증명될 수 있는가? 만약 가능하면 어떤 조건에서 가능한가?
• RQ2 기본 밀도가 립시츠 연속일 경우, k-최근접이웃 그래프 기반 레니 엔트로피 추정의 유한 표본 수렴 속도는 무엇인가?
• RQ3 경험적 코풀라를 통해 k-최근접이웃 그래프 기반 접근법을 레니 상호정보량 추정으로 확장할 수 있으며, 이는 강한 일치성을 보장하는가?
• RQ4 일반화된 k-최근접이웃 그래프(모든 k개의 최근접이웃) 사용이 MST나 TSP와 비교하여 계산 효율성과 다양한 α 값에서의 재사용 가능성 측면에서 어떻게 다른가?
• RQ5 레니 상호정보량 추정에서 k-최근접이웃 그래프를 사용할 때 경험적 코풀라 변환의 이론적 오차 한계는 무엇인가?

주요 결과

• 일반화된 k-최근접이웃 그래프 기반으로 제안된 레니 엔트로피 추정기는 밀도의 유계 지지에서 α ∈ (0,1) 및 d ≥ 1일 때 거의 확실히 일치한다.
• 립시츠 연속 밀도 조건 하에서, 이 논문은 레니 엔트로피 추정에 대해 처음으로 유한 표본에서의 고확률 오차 한계를 확립하였으며, 이는 차원 d와 매개변수 p = d(1−α)에 따라 달라진다.
• 레니 엔트로피의 오차 한계는 0 < p < d−1일 경우 O(n^{−(d−p)/(d(2d−p))})이며, d−1 ≤ p < d일 경우 O(n^{−(d−p)/(d(d+1))})이며, 로그 보정 항이 포함된다.
• 경험적 코풀라와 k-최근접이웃 그래프를 기반으로 한 상호정보량 추정기는 d ≥ 3 및 α ∈ (1/2,1)에서 강하게 일치한다. 이는 이전에 MST나 TSP를 사용한 연구를 확장한 것이다.
• k-최근접이웃 그래프의 구조는 거리의 단조 변환에 대해 불변이므로, 다양한 α 값에서 그래프를 다시 계산하지 않고도 효율적인 추정이 가능하다.
• 수치 실험 결과는 모든 k개의 최근접이웃을 사용하는 일반화된 k-최근접이웃 방법이 오직 k번째 이웃에만 연결하는 것보다 수렴 속도가 향상됨을 시사한다.