[논문 리뷰] Unified Sample-Optimal Property Estimation in Near-Linear Time

Hao Yi, Alon Orlitsky|arXiv (Cornell University)|2019. 11. 08.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 대칭 및 비대칭 가산 분포 성질의 광범위한 클래스에 대해 최초로 샘플 및 시간 효율적인 추정기들을 가능하게 하는 통합된 조각별 다항식 근사 기법을 제안한다. 이 방법은 渐近적으로 최적의 샘플 복잡도와 근사 선형 계산 시간을 달성하며, 다섯 가지 핵심 성질에 대해 최적의 편향과 근사 최적의 분산을 갖는 최초의 추정기를 제공한다. 또한 도메인 크기와 신뢰 수준에 관계없이 통합된 차별적 비밀성 보장과 근사 최적의 추정기를 제공한다.

ABSTRACT

We consider the fundamental learning problem of estimating properties of distributions over large domains. Using a novel piecewise-polynomial approximation technique, we derive the first unified methodology for constructing sample- and time-efficient estimators for all sufficiently smooth, symmetric and non-symmetric, additive properties. This technique yields near-linear-time computable estimators whose approximation values are asymptotically optimal and highly-concentrated, resulting in the first: 1) estimators achieving the $\mathcal{O}(k/(\varepsilon^2\log k))$ min-max $\varepsilon$-error sample complexity for all $k$-symbol Lipschitz properties; 2) unified near-optimal differentially private estimators for a variety of properties; 3) unified estimator achieving optimal bias and near-optimal variance for five important properties; 4) near-optimal sample-complexity estimators for several important symmetric properties over both domain sizes and confidence levels. In addition, we establish a McDiarmid's inequality under Poisson sampling, which is of independent interest.

연구 동기 및 목표

• 대규모 도메인에서 광범위한 가산 분포 성질을 추정하기 위한 통합적이고 샘플 및 시간 효율적인 방법론을 개발하는 것.
• 모든 $k$-기호 리프시츠 성질에 대해 渐近적으로 최적의 샘플 복잡도를 달성하며, $\mathcal{O}(k/(varepsilon^{2}\log k))$ 오차를 갖는 것.
• 다양한 성질에 대해 최적의 샘플 복잡도를 갖는 통합된 차별적 비밀성 보장 추정기를 확보하는 것.
• 샤논 엔트로피와 지지 집합 크기 등 다섯 가지 중요한 성질에 대해 최적의 편향과 근사 최적의 분산을 갖는 추정기를 구축하는 것.
• 다양한 도메인 크기와 신뢰 수준에서 대칭 성질에 대해 근사 최적의 샘플 복잡도를 확립하는 것.

제안 방법

• 가산 분포 성질을 모델링하고 추정하기 위해 새로운 조각별 다항식 근사 기법을 사용하여 샘플 및 시간 효율성을 달성한다.
• 포isson 표본 추출 하에서의 맥도날드 부등식의 새로운 변종을 활용하여 추정기 출력의 높은 집중성을 보장한다.
• 성질 함수를 부드러움과 리프시츠 행동을 고려한 조각별 다항식으로 근사하여 추정기를 구성한다.
• 각 $p_i$-의존 성분을 국소 다항식 피팅을 통해 처리함으로써 대칭 및 비대칭 가산 성질을 균일하게 다룬다.
• 빈도 수를 집계하고 경험 빈도에 조각별 다항식 근사를 적용함으로써 최종 추정기를 근사 선형 시간 내에 계산한다.
• 빈도 수에 보정된 노이즈를 추가함으로써 차별적 비밀성을 확보하며, 정확성을 유지하면서도 비밀성을 보존한다.

실험 결과

연구 질문

• RQ1 일관된 통합 방법이 모든 충분히 매끄럽고 대칭 및 비대칭 가산 분포 성질에 대해 샘플 최적성을 달성할 수 있는가?
• RQ2 모든 $k$-기호 리프시츠 성질을 $\varepsilon$-오차와 신뢰도 $2/3$로 추정하기 위해 필요한 최소 샘플 복잡도는 무엇인가?
• RQ3 다양한 성질에 대해 최적의 샘플 복잡도를 갖는 차별적 비밀성 보장 추정기를 통합할 수 있는가?
• RQ4 엔트로피와 지지 집합 크기와 같은 핵심 분포에 대해 성질 추정에서 편향과 분산 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 대칭 성질에 대해 샘플 복잡도가 도메인 크기 $k$와 신뢰 수준 $1-\delta$에 따라 어떻게 변화하는가?

주요 결과

• 논문은 모든 $k$-기호 리프시츠 성질에 대해 최초로 $\mathcal{O}(k/(varepsilon^{2}\log k))$ 최소-최대 $\varepsilon$-오차 샘플 복잡도를 확립하며, 渐近적으로 최적임을 입증한다.
• 최적의 샘플 복잡도를 갖는 통합된 차별적 비밀성 보장 추정기를 구축하였으며, 비비밀 기반 최적 경계와 일치한다.
• 샤논 엔트로피, 지지 집합 크기, 지지 집합 커버리지, 거듭제곱 합, 균일도와의 거리 등 다섯 가지 핵심 성질에 대해 최적의 편향과 근사 최적의 분산을 달성한다.
• 다양한 도메인 크기와 신뢰 수준에서 대칭 성질에 대해 근사 최적의 샘플 복잡도를 달성하며, 알려진 하한값과 로그 인자까지 일치하는 경계를 제공한다.
• 포isson 표본 추출 하에서의 새로운 맥도날드 부등식을 확립하였으며, 이는 별도의 관심사가 있으며 추정기의 집중 분석을 뒷받침한다.
• 제안된 추정기는 근사 선형 시간 내에 계산 가능하므로, 머신러닝 및 데이터 분석 분야의 대규모 응용에 실용적이다.