[논문 리뷰] Sample complexity of population recovery

Yury Polyanskiy, Ananda Theertha Suresh외 1명|arXiv (Cornell University)|2017. 02. 18.

Bayesian Methods and Mixture Models참고 문헌 26인용 수 7

한 줄 요약

이 논문은 손실 샘플링(에러러지) 및 노이즈 있는 샘플링(대칭 오차) 모델 하에서 인구 복구의 최적 표본 복잡도를 확립한다. 손실 복구의 경우 표본 복잡도는 $\tilde{\Theta}(\delta^{-2\max\{\epsilon/(1-\epsilon),1\}})$이며, $\epsilon = 1/2$에서 단계 전이가 발생한다. 노이즈 있는 복구의 경우 표본 복잡도는 $\exp(\Theta(d^{1/3}\log^{2/3}(1/\delta)))$로 표현되며, 이는 이중 선형 프로그래밍의 해를 통해 얻은 경험 평균 추정법을 통해 유도된다. 이 이중 선형 프로그래밍의 이중 문제는 레 카메의 최소 최대 하한을 나타낸다.

ABSTRACT

The problem of population recovery refers to estimating a distribution based on incomplete or corrupted samples. Consider a random poll of sample size $n$ conducted on a population of individuals, where each pollee is asked to answer $d$ binary questions. We consider one of the two polling impediments: (a) in lossy population recovery, a pollee may skip each question with probability $ε$, (b) in noisy population recovery, a pollee may lie on each question with probability $ε$. Given $n$ lossy or noisy samples, the goal is to estimate the probabilities of all $2^d$ binary vectors simultaneously within accuracy $δ$ with high probability. This paper settles the sample complexity of population recovery. For lossy model, the optimal sample complexity is $ ildeΘ(δ^{-2\max\{\fracε{1-ε},1\}})$, improving the state of the art by Moitra and Saks in several ways: a lower bound is established, the upper bound is improved and the result depends at most on the logarithm of the dimension. Surprisingly, the sample complexity undergoes a phase transition from parametric to nonparametric rate when $ε$ exceeds $1/2$. For noisy population recovery, the sharp sample complexity turns out to be more sensitive to dimension and scales as $\exp(Θ(d^{1/3} \log^{2/3}(1/δ)))$ except for the trivial cases of $ε=0,1/2$ or $1$. For both models, our estimators simply compute the empirical mean of a certain function, which is found by pre-solving a linear program (LP). Curiously, the dual LP can be understood as Le Cam's method for lower-bounding the minimax risk, thus establishing the statistical optimality of the proposed estimators. The value of the LP is determined by complex-analytic methods.

연구 동기 및 목표

• 손실되거나 완전하지 않은 샘플로부터 고차원 분포를 추정하는 데 있어 기본 통계적 한계를 규명하는 것.
• 부분적 또는 오류가 있는 관찰에서 학습하는 데 핵심적인 손실 및 노이즈 있는 인구 복구 모델에 대한 표본 복잡도를 해결하는 것.
• 개별 및 인구 복구의 분석을 통합하여, 로그 인자 수준까지 표본 복잡도가 동일함을 보이는 것.
• 특히 레 카메의 방법을 포함한 복소해석학 및 최소 최대 이론 도구를 사용하여 날카운 상한 및 하한을 유도하는 것.
• 최적의 추정기는 철저히 구성된 함수의 경험 평균이며, 이는 선형 프로그래밍을 풀어 얻을 수 있음을 보여주는 것.

제안 방법

• 제안된 추정기는 사전에 계산된 선형 프로그래밍(LP)을 통해 유도된 함수의 경험 평균을 계산하며, 이는 통계적 최적성을 보장하기 위해 사전에 계산된다.
• LP의 이중 문제는 최소 최대 하한을 유도하는 데 사용되는 레 카메의 방법으로 해석되며, 이로써 추정기의 통계적 최적성이 입증된다.
• 복소해석학적 기법, 특히 $H^\infty$-노름의 경계 및 생성 함수의 테일러 급수 분석을 사용하여 LP의 값을 평가한다.
• 손실 모델의 경우, 파르세발 항등식과 코시-슈바르츠 부등식을 활용하여 복구 오차와 관련된 생성 함수의 $A$-노름을 경계한다.
• 노이즈 있는 모델의 경우, 라게르의 다항식을 포함하는 생성 함수와 점점 가까워지는 경계를 사용하여 $A$-노름을 제어하고 $d$에 대한 지수적 의존성을 도출한다.
• 분석 결과, 표본 복잡도는 $\epsilon = 1/2$에서 단계 전이를 겪으며, 이는 파rametric에서 nonparametric 비율로의 전환을 의미한다.

실험 결과

연구 질문

• RQ1 손실(에러러지) 모델 하에서 인구 복구의 최적 표본 복잡도는 무엇이며, 이는 에러러지 확률 $\epsilon$과 정확도 $\delta$에 어떻게 의존하는가?
• RQ2 노이즈 있는 인구 복구의 표본 복잡도는 차원 $d$와 정확도 $\delta$에 따라 어떻게 변화하며, 정확한 의존성은 무엇인가?
• RQ3 적절한 함수 변환 후 경험 평균 추정기는 두 모델 모두에서 최소 최대 최적 비율을 달성할 수 있는가?
• RQ4 이중 LP는 최소 최대 하한을 확립하는 데 어떤 역할을 하는가? 그리고 레 카메의 방법과의 관계는 무엇인가?
• RQ5 왜 손실 모델은 $\epsilon = 1/2$에서 단계 전이를 보이며, 이는 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 손실 인구 복구 모델의 최적 표본 복잡도는 $\tilde{\Theta}(\delta^{-2\max{\{\epsilon/(1-\epsilon),1\}}})$이며, 이는 이전 연구에 비해 날카운 하한을 확립하고 차원에 대한 의존도를 로그 수준으로 감소시켜 향상된 결과이다.
• 단계 전이가 $\epsilon = 1/2$에서 발생한다: $\epsilon < 1/2$일 경우 비율은 파rametric($\delta^{-2}$)이며, $\epsilon > 1/2$일 경우 비율은 nonparametric($\delta^{-2\epsilon/(1-\epsilon)}$)으로 변한다.
• 노이즈 있는 인구 복구 모델의 최적 표본 복잡도는 $\exp(\Theta(d^{1/3}\log^{2/3}(1/\delta)))$이며, 이는 손실 모델보다 차원에 더 민감하게 반응한다.
• 제안된 추정기는 선형 프로그래밍을 풀어 얻은 함수의 경험 평균이며, 이의 최적성은 레 카메의 최소 최대 하한과의 이중성에 의해 확인된다.
• LP의 값은 복소해석학적 방법을 통해 결정되며, 이는 생성 함수의 $H^\infty$-노름 경계 및 라게르 다항식의 점점 가까워지는 분석을 포함한다.
• 분석 결과, 두 모델 모두에서 표본 복잡도는 손실 모델의 경우 차원 $d$에 대해 독립적(로그 인자 수준까지)이며, 노이즈 있는 모델의 경우 $d^{1/3}$에 대해 지수적으로 증가한다.