[논문 리뷰] Minimax rates of entropy estimation on large alphabets via best polynomial approximation

Yihong Wu, Pengkun Yang|arXiv (Cornell University)|2014. 07. 01.

Machine Learning and Algorithms참고 문헌 49인용 수 17

한 줄 요약

이 논문은 최적의 다항근사법을 이용해 큰 알파벳에서 샤논 엔트로피 추정의 최소최대 속도를 확립한다. 이 때 최적의 위험도는 $ n \gtrsim \frac{k}{\log k} $ 인 경우 $\left(\frac{k}{n\log k}\right)^2 + \frac{\log^2 k}{n}$ 와 비례하며, 이 경계를 달성하는 선형 시간 추정기의 존재를 증명한다. 분석은 추정과 근사 이론 사이의 이중성에 기반하여 날카운 상한과 하한을 도출한다.

ABSTRACT

Consider the problem of estimating the Shannon entropy of a distribution over $k$ elements from $n$ independent samples. We show that the minimax mean-square error is within universal multiplicative constant factors of $$\Big(\frac{k }{n \log k}\Big)^2 + \frac{\log^2 k}{n}$$ if $n$ exceeds a constant factor of $\frac{k}{\log k}$; otherwise there exists no consistent estimator. This refines the recent result of Valiant-Valiant \cite{VV11} that the minimal sample size for consistent entropy estimation scales according to $Θ(\frac{k}{\log k})$. The apparatus of best polynomial approximation plays a key role in both the construction of optimal estimators and, via a duality argument, the minimax lower bound.

연구 동기 및 목표

• 독립 동일분포 표본으로부터 큰 알파벳에서 샤논 엔트로피를 추정할 때의 기본 최소최대 위험을 특성화하는 것.
• 표본 크기 $ n $ 과 알파벳 크기 $ k $ 에 따라 최소최대 평균제곱오차에 대한 날카운 상한과 하한을 확립하는 것.
• 최소최대 위험을 보편 상수 요소 내에서 달성하는 계산적으로 효율적인 선형 시간 추정기를 개발하는 것.
• 최적의 다항근사법을 중심 분석 도구로 사용하여 정보이론과 근사이론을 연결하는 것.

제안 방법

• 최소최대 위험은 엔트로피 함수 $ f(x) = -x\log x $ 가 $[0,1]$ 에서 최적의 다항근사와의 이중성에 의해 분석된다.
• 저자들은 최적의 다항근사 이론을 사용하여, 특히 고차원 및 표본 수가 부족한 영역에서 엔트로피 추정기의 편향에 대한 경계를 유도한다.
• 핵심 기술적 요소로는 다항근사에서의 끝점 근사 오차를 분석하기 위해 체비세프 교대정리의 활용이다.
• 최소최대 하한은 $ L^\infty $ 노름에서 추정 위험과 근사 오차 사이의 이중성 논증을 통해 유도된다.
• 최적의 다항근사 기반으로 새로운 선형 시간 추정기가 구성되었으며, 이는 최소최대 위험을 보편 상수 요소 내에서 달성한다.
• 분석은 두 영역을 구분한다: 하나는 편향이 지배하는 영역($ n \lesssim k^2 / \log^4 k $)과 하나는 분산이 지배하는 영역($ n \gtrsim k^2 / \log^4 k $)이다.

실험 결과

연구 질문

• RQ1 알파벳 크기 $ k $ 가 크고 표본 크기 $ n $ 이 $ k $ 에 대해 비선형일 때, 샤논 엔트로피 추정의 기본 최소최대 속도는 무엇인가?
• RQ2 최소최대 위험은 보편 상수 요소 내에서 특성화될 수 있으며, 그 기능적 의존성은 $ n $ 과 $ k $ 에 대해 정확히 어떻게 되는가?
• RQ3 최소최대 위험을 상수 요소 내에서 달성하는 계산적으로 효율적인 추정기는 존재하는가?
• RQ4 최적의 다항근사 이론은 엔트로피 추정에서 최소최대 위험과 어떻게 관련이 있는가?

주요 결과

• 표본 크기 $ n \gtrsim \frac{k}{\log k} $ 인 경우, 엔트로피 추정의 최소최대 위험은 $ R^*(k,n) \asymp \left(\frac{k}{n\log k}\right)^2 + \frac{\log^2 k}{n} $ 이다.
• 표본 크기 $ n \lesssim \frac{k}{\log k} $ 인 경우, 최소최대 위험이 0에서 벗어나므로 일致한 추정기는 존재하지 않는다.
• 표본 크기 $ n \lesssim \frac{k^2}{\log^4 k} $ 인 경우, 편향 항 $\left(\frac{k}{n\log k}\right)^2$ 가 지배적이며, 큰 알파벳에서의 표본 부족 문제를 반영한다.
• 분산 항 $\frac{\log^2 k}{n}$ 은 중심극한정리에 의해 결정되는 고전적 파rametric 속도에 해당한다.
• 최소최대 위험을 보편 상수 요소 내에서 달성하는 선형 시간 추정기가 구성되었으며, 이는 계산적으로 실용적이다.
• 최적의 다항근사의 활용은 추정 위험과 근사 오차 사이의 날카운 이중성을 제공하여 날카운 경계를 가능하게 한다.