[논문 리뷰] Minimax Estimation of Discrete Distributions under $\ell_1$ Loss

Yanjun Han, Jiantao Jiao외 1명|arXiv (Cornell University)|2014. 11. 06.

Machine Learning and Algorithms참고 문헌 26인용 수 5

한 줄 요약

이 논문은 표본 크기 n과 함께 증가하는 지지 크기 S를 가진 이산 분포 추정에 대해 ℓ₁ 손실 하에서 날카운 최소최대 경계를 확립한다. 표본 분포의 최대 위험도가 渐近적으로 2H / ln n로 스케일링되며, 최소최대 위험도는 H / ln n임을 보여주고, 엔트로피 경계 H를 알지 못하더라도 경계를 적용하는 하드-스레시딩 추정기가 최소최대성을 달성함을 밝힌다.

ABSTRACT

We analyze the problem of discrete distribution estimation under $\ell_1$ loss. We provide non-asymptotic upper and lower bounds on the maximum risk of the empirical distribution (the maximum likelihood estimator), and the minimax risk in regimes where the alphabet size $S$ may grow with the number of observations $n$. We show that among distributions with bounded entropy $H$, the asymptotic maximum risk for the empirical distribution is $2H/\ln n$, while the asymptotic minimax risk is $H/\ln n$. Moreover, Moreover, we show that a hard-thresholding estimator oblivious to the unknown upper bound $H$, is asymptotically minimax. However, if we constrain the estimates to lie in the simplex of probability distributions, then the asymptotic minimax risk is again $2H/\ln n$. We draw connections between our work and the literature on density estimation, entropy estimation, total variation distance ($\ell_1$ divergence) estimation, joint distribution estimation in stochastic processes, normal mean estimation, and adaptive estimation.

연구 동기 및 목표

• 이산 분포 추정에서 ℓ₁ 손실 하에서 최소최대 위험도와 표본 분포 추정기의 최대 위험도를 규명하는 것.
• 지지 크기 S가 표본 크기 n과 함께 증가할 때 이러한 위험도의 점근적 행동을 분석하는 것, 특히 유한 엔트로피 제약 조건 하에서의 행동을 중심으로 한다.
• 엔트로피 경계 H의 사전 지식 없이도 최소최대 위험도를 달성하는 추정기를 규명하는 것, 특히 고차원 및 무한차원 영역에서의 적용을 중심으로 한다.
• 이산 분포 추정과 엔트로피 추정, 밀도 추정, 확률과정 등 관련 문제들 간의 연결 고리를 설정하는 것.
• ℓ₁ 손실이 비모수 모델과의 호환성을 보이며, 다른 손실과의 비교를 통해 ℓ₁ 손실의 사용에 대한 이론적 근거를 제공하는 것.

제안 방법

• 집중 부등식과 점근적 분석을 사용하여 표본 분포 추정기(MLE)의 최대 위험도에 대한 상한과 하한을 유도한다.
• 다항분포 모델을 포아송 모델과 연결하기 위해 포아송화 기법을 적용하여, 조건부 사전 분포 구성 방법을 통해 더 날카운 위험 경계를 도출한다.
• 균등성과의 ℓ₁ 편차가 유한한 분포에 대한 조건부 사전을 사용하여, 베이즈 위험도 논증을 통해 최소최대 위험도의 하한을 도출한다.
• 작은 표본 확률을 0으로 설정하는 하드-스레시딩 추정기를 사용하여, H를 알지 못하더라도 점근적으로 최소최대 위험도를 달성함을 보여준다.
• 일반적인 점근적 정규성 결과(정리 6)를 적용하여, 아이.i.d. 설정에서 최소최대 위험도의 하한을 도출한다. 이는 피셔 정보 행렬과 스코어 함수의 ℓ₁ 노름을 사용한다.
• 단체 제약 조건(확률 분포) 하에서의 최소최대 위험도와 비제약 추정 간의 비교를 통해, 점근적 위험도가 H/ln n 에서 2H/ln n 으로 두 배로 증가함을 보여준다.

실험 결과

연구 질문

• RQ1 지지 크기 S가 표본 크기 n과 함께 증가할 때, 엔트로피 H가 유한한 이산 분포를 ℓ₁ 손실 하에서 추정할 경우의 점근적 최소최대 위험도는 무엇인가?
• RQ2 표본 분포 추정기의 최대 위험도는 엔트로피 H와 표본 크기 n에 대해 점근적으로 어떻게 스케일링되는가?
• RQ3 엔트로피 경계 H의 사전 지식 없이도 분포 추정기가 최소최대 위험도를 달성할 수 있는가?
• RQ4 추정치가 확률 단체에 제약을 받을 경우 최소최대 위험도에 어떤 영향을 미치는가?
• RQ5 이산 분포 추정 결과는 엔트로피 추정, 밀도 추정, 확률과정 등 넓은 문제들과 어떻게 연결되는가?

주요 결과

• 엔트로피 H가 유한하고 n → ∞ 일 때, 표본 분포 추정기의 점근적 최대 위험도는 2H / ln n 이다.
• 점근적 최소최대 위험도는 H / ln n 이며, 이는 표본 추정기 위험도의 절반으로, 성능 차이가 본질적인 격차임을 시사한다.
• H를 알지 못하더라도 점근적으로 최소최대 위험도를 달성하는 하드-스레시딩 추정기는 적응형이며 실용적이다.
• 추정기가 확률 단체에 제약을 받을 경우, 점근적 최소최대 위험도는 2H / ln n 로 증가하여 표본 추정기의 위험도와 일치한다.
• 포아송화된 모델 하에서 최소최대 위험도는 exp(−ζ²n/24) + R(S, n/(1+ζ)) + ε + δ 로 경계되며, 적절한 조건 하에서 지수적 집중이 발생함을 보여준다.
• 조건부 사전 하에서의 베이즈 위험도는 최소최대 위험도의 하한을 제공하며, 이 하한은 상수까지 정확하여 점근적 속도가 확인된다.