[논문 리뷰] Minimax Optimal Estimators for Additive Scalar Functionals of Discrete Distributions

Kazuto Fukuchi, Jun Sakuma|arXiv (Cornell University)|2017. 01. 23.

Statistical Methods and Inference참고 문헌 20인용 수 6

한 줄 요약

이 논문은 일반적인 매끄러움 조건 하에서 $\theta(P;\phi) = \sum_{i=1}^k \phi(p_i)$ 로 정의된 이산 분포의 덧셈형 스칼라 함수에 대해 최소최대 최적 추정기의 제안을 한다. 최소최대 위험은 $\phi$의 네 번째 도함수의 발산 속도에 의해 특징지어지며, $|\phi^{(4)}(p)|$ 가 $p^{-4}$ 보다 빠르게 증가할 경우 일致한 추정기가 존재하지 않음을 보이며, $|\phi^{(4)}(p)| \sim p^{4-\alpha}$ 이고 $\alpha \in (0,1)$ 일 때 정확한 속도 $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$ 를 도출한다. 이 추정기는 큰 $k$의 경우에 최소최대 최적성을 달성한다.

ABSTRACT

In this paper, we consider estimators for an additive functional of $ϕ$, which is defined as $θ(P;ϕ)=\sum_{i=1}^kϕ(p_i)$, from $n$ i.i.d. random samples drawn from a discrete distribution $P=(p_1,...,p_k)$ with alphabet size $k$. We propose a minimax optimal estimator for the estimation problem of the additive functional. We reveal that the minimax optimal rate is characterized by the divergence speed of the fourth derivative of $ϕ$ if the divergence speed is high. As a result, we show there is no consistent estimator if the divergence speed of the fourth derivative of $ϕ$ is larger than $p^{-4}$. Furthermore, if the divergence speed of the fourth derivative of $ϕ$ is $p^{4-α}$ for $α\in (0,1)$, the minimax optimal rate is obtained within a universal multiplicative constant as $\frac{k^2}{(n\ln n)^{2α}} + \frac{k^{2-2α}}{n}$.

연구 동기 및 목표

• 독립 identically distributed 표본으로부터 덧셈형 기능 $\theta(P;\phi) = \sum_{i=1}^k \phi(p_i)$ 에 대해 최소최대 최적 추정기를 유도하기.
• 일반적인 $\phi$ 에 대해 매끄러움 조건 하에서 최소최대 위험을 특징짓기, 특히 $\phi$의 네 번째 도함수의 역할에 초점 맞추기.
• 일致한 추정이 불가능한 조건을 $\phi^{(4)}(p)$ 의 발산 속도에 기반해 수립하기.
• 이전의 엔트로피 및 R\'enyi 엔트로피 추정 결과를 일반화하는 통합 프레임워크 제공하기.

제안 방법

• empirical 확률 근처에서 $\phi$ 의 고차수 테일러 전개를 활용해 최소최대 최적성을 달성하는 새로운 추정기 제안.
• 네 번째 도함수 기반의 편향 보정 방법을 사용하며, 고차원 영역에서 분산을 제어하기 위해 잘라내기와 스무딩을 적용.
• 추정 오차를 제어하기 위해 $\ell_1$-노름의 확률 벡터에 대한 농도 부등식과 경계를 적용.
• 모든 $P \in \mathcal{M}_k$ 에 대해 최악의 위험을 분석함으로써 최소최대 위험 경계를 도출하며, 편향-분산 트레이드오프를 극대화하는 최악의 분포를 사용.
• 최소최대 속도의 정확한 특징을 가능하게 하기 위해 네 번째 도함수 성장률을 통제하는 기능 클래스 $\phi \in C^4[0,1]$ 도입.
• 하향 분석을 통한 국소 최소최대 분석과 테스트 및 Le Cam의 방법을 활용해 위험에 대한 하한을 도출.

실험 결과

연구 질문

• RQ1 일반적인 매끄러운 함수 $\phi$ 에 대해 $\phi$ 가 주어진 덧셈형 기능 $\theta(P;\phi) = \sum_{i=1}^k \phi(p_i)$ 의 추정 최소최대 최적 속도는 무엇인가요?
• RQ2 함수 $\phi$ 의 네 번째 도함수의 발산 속도는 최소최대 위험에 어떤 영향을 미치나요?
• RQ3 어떤 조건에서 이러한 기능에 대해 일치한 추정기가 존재하지 않나요?
• RQ4 넓은 범위의 $\phi$ 에 대해 최소최대 최적 속도를 보편 상수 내에서 특징지울 수 있나요?
• RQ5 $k$ 가 $n$ 과 함께 증가하는 큰 $k$ 영역에서도 제안된 추정기는 최소최대 최적성을 유지합니까?

주요 결과

• 만약 $|\phi^{(4)}(p)|$ 가 $p \to 0^+$ 일 때 $p^{-4}$ 보다 더 빠르게 발산한다면, 덧셈형 기능에 대해 일치한 추정기는 존재하지 않는다.
• $|\phi^{(4)}(p)| \sim p^{4-\alpha}$ 이고 $\alpha \in (0,1)$ 일 때, 최소최대 최적 속도는 $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$ 이며, 이는 보편 상수 내에서 정확하다.
• 제안된 추정기는 $[0,1]$ 에서 네 번째 도함수가 유계인 모든 $\phi \in C^4[0,1]$ 에 대해 이 최소최대 최적 속도를 달성한다.
• 큰 $k$ 영역에서 최소최대 위험은 플러그인 추정기의 위험보다 엄격히 크며, 플러그인 방법의 열등성을 확인한다.
• 속도 $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$ 는 편향 항 $k^2/n^2$ 과 분산 항 $k^{2-2\alpha}/n$ 사이를 보간하며, 편향과 분산의 트레이드오프를 반영한다.
• 분석 결과, 최소최대 속도를 결정하는 데 있어 $\phi^{(4)}(p)$ 가 0 근처에서의 행동이 주요 요소이며, 저차수 도함수의 행동은 그렇지 않다.