[논문 리뷰] Data Amplification: Instance-Optimal Property Estimation

Hao Yi, Alon Orlitsky|arXiv (Cornell University)|2019. 03. 04.

Machine Learning and Algorithms참고 문헌 34인용 수 5

한 줄 요약

이 논문은 샤논 엔트로피, 지지집합 크기, 커버리지, ℓ₁-거리와 같은 이산 확률분포 성질에 대해 인스턴스 최적의 성능을 달성하는 데이터 확장 추정기들을 소개한다. 새로운 선형 시간 알고리즘을 활용해 데이터를 로그 인자만큼 효과적으로 확장함으로써, 단지 n개의 샘플으로도 n log n개의 샘플을 사용한 경험적 플러그인 추정기의 정확도를 달성한다. 이 개선 효과는 악성 케이스에 국한되지 않고 모든 개별 분포에 대해 성립한다.

ABSTRACT

The best-known and most commonly used distribution-property estimation technique uses a plug-in estimator, with empirical frequency replacing the underlying distribution. We present novel linear-time-computable estimators that significantly "amplify" the effective amount of data available. For a large variety of distribution properties including four of the most popular ones and for every underlying distribution, they achieve the accuracy that the empirical-frequency plug-in estimators would attain using a logarithmic-factor more samples. Specifically, for Shannon entropy and a very broad class of properties including $\ell_1$-distance, the new estimators use $n$ samples to achieve the accuracy attained by the empirical estimators with $n\log n$ samples. For support-size and coverage, the new estimators use $n$ samples to achieve the performance of empirical frequency with sample size $n$ times the logarithm of the property value. Significantly strengthening the traditional min-max formulation, these results hold not only for the worst distributions, but for each and every underlying distribution. Furthermore, the logarithmic amplification factors are optimal. Experiments on a wide variety of distributions show that the new estimators outperform the previous state-of-the-art estimators designed for each specific property.

연구 동기 및 목표

• 기존의 최소-최대 추정기들이 단순하고 실제 세계의 분포에 대해 지나치게 낙관적이지 않은 문제를 해결하기 위해.
• 모든 기저 분포에 대해 경험적 추정기의 정확도를 n log n개의 샘플을 사용할 때와 동일한 정확도로 n개의 샘플만으로도 달성하는 추정기를 설계하기 위해.
• 알파벳 크기나 최소 확률 임계값과 같은 비현실적인 가정에 의존하는 것을 제거하기 위해.
• 엔트로피, 지지집합 크기, 커버리지, ℓ₁-거리와 같은 광범위한 분포 성질에 적용 가능한 통합적이고 인스턴스 최적의 프레임워크를 제공하기 위해.
• 로그 인자 확장 요인이 정보 이론적으로 최적이며 더 이상 향상시킬 수 없음을 입증하기 위해.

제안 방법

• 샘플링 수를 모델링하고 분석적 취급 가능성을 보장하기 위해 샘플링 수의 포isson화 기법을 사용하는 선형 시간 계산이 가능한 추정기를 제안한다.
• 경험 빈도 기반의 편향 보정 및 스무딩 추정기를 사용하며, 보정 항은 샘플링 수의 포isson 근사에서 유도된다.
• 각 분포 인스턴스를 별개로 다루는 새로운 데이터 확장 프레임워크를 도입하여 인스턴스 수준의 최적성을 보장한다.
• 다항분포 수의 음의 상관관계 성질을 활용해 커버리지 및 지지집합 크기 추정기의 분산을 제어하고 추정 오차를 관리한다.
• 제너슨 부등식과 농도 경계를 적용하여 제안된 추정기와 경험 추정기 사이의 평균 절대편차를 제어한다.
• 진짜 성질 값으로 정규화함으로써 추정 오차에 대한 날카로운 경계를 유도하고 상대 오차 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모든 개별 분포에 대해 경험적 추정기의 정확도를 n log n개의 샘플을 사용할 때와 동일한 정확도로 n개의 샘플만으로도 달성할 수 있는 분포 성질 추정기를 설계할 수 있는가?
• RQ2 지지집합 크기 및 커버리지 추정에서 알파벳 크기나 최소 확률 임계값과 같은 가정이 필요 없도록 할 수 있는가?
• RQ3 확장 인자 √log n를 초월해 log n로 향상시킬 수 있으며, 이 경계는 정보 이론적으로 최적이며 더 이상 향상시킬 수 없는가?
• RQ4 다양한 분포에서 제안된 추정기의 오차 및 샘플 효율성 측면에서 최신 기술 대비 성능은 어떠한가?
• RQ5 분포의 구조에 대한 사전 지식 없이도 계산 효율성을 희생시키지 않고 인스턴스 최적성을 달성할 수 있는가?

주요 결과

• 제안된 추정기는 모든 기저 분포에 대해 경험 플러그인 추정기의 기대 추정 오차를 n log n개의 샘플을 사용할 때와 동일하게 유지하지만, 샘플 수를 단지 n개로 줄였다.
• 로그 인자 확장 요인 log n는 정보 이론적으로 최적이며 더 이상 향상시킬 수 없다.
• 샤논 엔트로피와 ℓ₁-거리의 경우, 새로운 추정기는 단지 n개의 샘플만으로도 n log n개의 샘플을 사용한 경험 추정기의 성능을 달성한다.
• 지지집합 크기 및 커버리지의 경우 오차는 ±εS 이내로 제한되며, 여기서 S는 진짜 지지집합 크기이므로 S ≪ k일 때에도 정확한 추정이 가능하다.
• 추정기는 계산적으로 효율적이며 선형 시간 O(n)에 실행되며, 다양한 분포에서 이전 최신 기술 대비 실험적으로 뛰어난 성능을 보였다.
• 작은 샘플 크기에서도 우아하게 성능이 저하되며, n < k/log k일 때도 기존 방법과 달리 보장을 제공한다.