[논문 리뷰] Near-Optimal Density Estimation in Near-Linear Time Using Variable-Width Histograms

Siu-On Chan, Ilias Diakonikolas외 2명|arXiv (Cornell University)|2014. 11. 01.

Machine Learning and Algorithms참고 문헌 26인용 수 16

한 줄 요약

이 논문은 변수 폭 히스토GRAM을 사용한 밀도 추정을 위한 거의 최적의, 거의 선형 시간 알고리즘을 제시한다. 총 변동 거리가 $ C \cdot \mathrm{opt}_k(p) + \varepsilon $ 이하가 되며, $ \tilde{O}(k/\varepsilon^2) $개의 샘플과 런타임을 사용한다. 여기서 $ C $는 보편 상수이고, $ \mathrm{opt}_k(p) $는 $ k $-조각 상수 분포에 의한 최고의 근사이다.

ABSTRACT

Let $p$ be an unknown and arbitrary probability distribution over $[0,1)$. We consider the problem of {\em density estimation}, in which a learning algorithm is given i.i.d. draws from $p$ and must (with high probability) output a hypothesis distribution that is close to $p$. The main contribution of this paper is a highly efficient density estimation algorithm for learning using a variable-width histogram, i.e., a hypothesis distribution with a piecewise constant probability density function. In more detail, for any $k$ and $ε$, we give an algorithm that makes $ ilde{O}(k/ε^2)$ draws from $p$, runs in $ ilde{O}(k/ε^2)$ time, and outputs a hypothesis distribution $h$ that is piecewise constant with $O(k \log^2(1/ε))$ pieces. With high probability the hypothesis $h$ satisfies $d_{\mathrm{TV}}(p,h) \leq C \cdot \mathrm{opt}_k(p) + ε$, where $d_{\mathrm{TV}}$ denotes the total variation distance (statistical distance), $C$ is a universal constant, and $\mathrm{opt}_k(p)$ is the smallest total variation distance between $p$ and any $k$-piecewise constant distribution. The sample size and running time of our algorithm are optimal up to logarithmic factors. The "approximation factor" $C$ in our result is inherent in the problem, as we prove that no algorithm with sample size bounded in terms of $k$ and $ε$ can achieve $C<2$ regardless of what kind of hypothesis distribution it uses.

연구 동기 및 목표

• 샘플 복잡도와 런타임이 거의 최적인 계산 효율적인 밀도 추정 알고리즘을 개발하기 위해.
• 특히 진짜 분포가 $ k $-히스토GRAM으로 잘 근사될 수 있을 때, $[0,1)$ 위에서 독립 동일분포 샘플을 사용해 알려지지 않은 확률 분포를 학습하는 데 도전하기 위해.
• 대상 분포가 정확히 $ k $-히스토GRAM이 아니더라도, 총 변동 거리에서 목표 분포에 가까운 가설 분포를 출력하는 방법을 설계하기 위해.
• 샘플 크기가 $ k $와 $ \varepsilon $에 대해 유계인 어떤 알고리즘에 대해서도 $ C < 2 $가 불가능함을 보여주는, 근사 인자 $ C $에 대한 엄밀한 이론적 경계를 설정하기 위해.

제안 방법

• 분포의 구조를 더 잘 포착하기 위해 비균일한 구간 분할을 允허하는 변수 폭 히스토GRAM을 가설 클래스로 사용한다.
• empirical 분포 추정치에 기반해 동적으로 간격을 정밀화하는 새로운 적응형 샘플링 및 구간 분할 전략을 적용한다.
• 오차와 복잡도를 균형 잡는 재귀적 분할 기법을 사용하여, 최종 히스토GRAM에서 $ O(k \log^2(1/\varepsilon)) $개의 조각을 확보한다.
• empirical 분포에 대한 총 변동 거리를 최소화하는 데 사용되는 통계적 거리 최소화 프레임워크를 적용한다.
• 근사 품질의 고확률 보장을 보장하기 위해 농도 경계와 尾尾 불등식을 활용한다.
• 샘플 크기 하한을 증명하기 위해 생일 역설 유형의 경계에 기반한 구별 기반 논증을 활용하여, 샘플 복잡도의 최적성을 입증한다.

실험 결과

연구 질문

• RQ1 변수 폭 히스토GRAM을 사용해 밀도 추정에서 거의 최적의 샘플 복잡도와 거의 선형 런타임을 달성할 수 있는가?
• RQ2 샘플 크기가 $ k $와 $ \varepsilon $에 대해 유계인 어떤 알고리즘에 대해서도, $ k $-히스토GRAM 학습에 대해 가능한 최고의 근사 인자 $ C $는 무엇인가?
• RQ3 샘플 및 런타임 복잡도가 $ \tilde{O}(k/\varepsilon^2) $이면서도 일정한 근사 인자를 유지하는 알고리즘을 설계할 수 있는가?
• RQ4 고정 폭 히스토GRAM에 비해 변수 폭 히스토GRAM의 근사 품질과 계산 효율성은 어떻게 비교되는가?
• RQ5 모든 가설 클래스에 관계없이, 어떤 알고리즘도 아그노스틱 $ k $-히스토그램 학습에서 근사 인자 $ C < 2 $를 달성할 수 없다는 것을 증명할 수 있는가?

주요 결과

• 제안된 알고리즘은 $ d_{\mathrm{TV}}(p,h) \leq C \cdot \mathrm{opt}_k(p) + \varepsilon $를 만족하며, 여기서 $ C $는 보편 상수이고, $ \mathrm{opt}_k(p) $는 최고의 $ k $-조각 상수 근사이다.
• 알고리즘은 $ \tilde{O}(k/\varepsilon^2) $개의 샘플을 사용하고 $ \tilde{O}(k/\varepsilon^2) $시간 내에 실행되며, 둘 다 로그 인자에 대해 최적이다.
• 가설 $ h $는 $ O(k \log^2(1/\varepsilon)) $개의 조각을 가진 조각상수 분포이며, 이는 복잡한 밀도에 대해 세밀한 적응을 가능하게 한다.
• 근사 인자 $ C $는 본질적이며, $ \sqrt{N} $-샘플 하한에 기반한 구별 기반 논증을 통해 2 이하로 개선될 수 없음을 증명하였다.
• 샘플 및 런타임 복잡도는 로그 인자에 대해 최적이며, 알고리즘이 아그노스틱 $ k $-히스토그램 학습의 정보 이론적 하한을 충족한다.
• 결과적으로, 계산 효율성과 통계적 정확성 사이에 엄밀한 연결 고리를 확립하였으며, 밀도 추정에서 양쪽 차원에서 거의 최적성이 달성 가능하다는 것을 보여준다.