[논문 리뷰] Sample-Optimal Density Estimation in Nearly-Linear Time

Clément L. Canonne, Ilias Diakonikolas외 2명|arXiv (Cornell University)|2015. 06. 01.

Complexity and Algorithms in Graphs참고 문헌 3인용 수 26

한 줄 요약

이 논문은 단변량 분포에서 조각다항식으로 잘 근사되는 경우에 대해, 무지식 밀도 추정을 위한 새로운 알고리즘을 제시한다. 이 알고리즘은 O(t(d+1)/ϵ²)개의 샘플로 샘플 최적 성능를 달성하며, 거의 선형 시간 eO(n·poly(d))에 실행되어 높은 확률로 참 밀도와 4·OPT + ϵ 이내의 가설을 출력한다. 이 방법은 반복적 분할, 분리 오рак불을 통한 효율적 다항식 피팅, 초평면 분리에 대한 조합 최적화 알고리즘을 결합하여, 가우시안 혼합분포, 로그-볼록, 이산 분포를 포함한 광범위한 구조적 분포에 대해 처음으로 거의 샘플 최적이고 거의 선형 시간 성능을 갖는 추정기를 가능하게 한다.

ABSTRACT

We design a new, fast algorithm for agnostically learning univariate probability distributions whose densities are well approximated by piecewise polynomial functions. Let $f$ be the density function of an arbitrary univariate distribution, and suppose that $f$ is $\mathrm{OPT}$-close in $L_1$-distance to an unknown piecewise polynomial function with $t$ interval pieces and degree $d$. Our algorithm draws $n = O(t(d+1)/\epsilon^2)$ samples from $f$, runs in time $ ilde{O}(n \cdot \mathrm{poly}(d))$, and with probability at least $9/10$ outputs an $O(t)$-piecewise degree-$d$ hypothesis $h$ that is $4 \cdot \mathrm{OPT} +\epsilon$ close to $f$. Our general algorithm yields (nearly) sample-optimal and nearly-linear time estimators for a wide range of structured distribution families over both continuous and discrete domains in a unified way. For most of our applications, these are the first sample-optimal and nearly-linear time estimators in the literature. As a consequence, our work resolves the sample and computational complexities of a broad class of inference tasks via a single "meta-algorithm". Moreover, we experimentally demonstrate that our algorithm performs very well in practice. Our algorithm consists of three "levels": (i) At the top level, we employ an iterative greedy algorithm for finding a good partition of the real line into the pieces of a piecewise polynomial. (ii) For each piece, we show that the sub-problem of finding a good polynomial fit on the current interval can be solved efficiently with a separation oracle method. (iii) We reduce the task of finding a separating hyperplane to a combinatorial problem and give an efficient algorithm for this problem. Combining these three procedures gives a density estimation algorithm with the claimed guarantees.

연구 동기 및 목표

• 단변량 분포에 대해 통계적이고 계산적으로 효율적인 빠른 무지식 밀도 추정 알고리즘을 설계하는 것.
• 가우시안 혼합분포, 로그-볼록, 이산 분포와 같은 구조적 분포 가족에 대해 샘플 최적 성능를 달성하는 것.
• 무지식 설정에서 샘플 복잡도와 실행 시간을 동시에 최소화하는 데 오랫동안 열려 있던 문제를 해결하는 것.
• 단일 메타알고리즘을 사용하여 연속 및 이산 영역 간의 추정기 설계를 통합하는 것.

제안 방법

• 실수선을 조각다항식 피팅에 적합한 간격으로 반복적으로 분할하는 그리디 병합 절차를 사용한다.
• 각 간격에 대해 L1 제약 조건 하에서 최적의 다항식을 효율적으로 계산하기 위해 분리 오라클 방법을 적용한다.
• 분리 초평면을 찾는 문제를 조합 최적화 문제로 환원하고, 고유한 알고리즘을 통해 이를 해결한다.
• 다항식 투영을 효율적으로 계산하기 위해 Ak-프로젝션 오라클을 활용하여 빠른 수렴을 가능하게 한다.
• 전체 프레임워크는 모듈식이며 연속 및 이산 영역에 동일하게 적용된다.
• 다항식 피팅 문제를 스펙트라할 타당성 문제로 변환하는 새로운 감소 기법을 사용하며, 이는 볼록 최적화를 통해 해결할 수 있다.

실험 결과

연구 질문

• RQ1 단변량 분포에 대해 샘플 최적 성능를 갖는 동시에 거의 선형 시간에 실행되는 밀도 추정 알고리즘을 설계할 수 있는가?
• RQ2 가우시안 혼합분포 및 로그-볼록 분포와 같은 구조적 가족에 대해 통합 메타알고리즘을 사용해 무지식 학습 보장을 달성할 수 있는가?
• RQ3 조각다항식 근사의 학습 비용은 얼마이며, 이를 거의 선형 시간으로 줄일 수 있는가?
• RQ4 알고리즘 성능는 표본 크기와 목표 분포의 복잡도에 따라 어떻게 스케일링되는가?
• RQ5 분리 오라클 접근법은 비음성 및 유계 제약 조건을 효율적으로 처리하는 데 적합한가?

주요 결과

• 알고리즘은 O(t(d+1)/ϵ²)의 샘플 복잡도를 달성하며, 이는 t개의 조각, 차수 d인 다항식으로 잘 근사되는 분포에 대해 정보 이론적으로 최적이다.
• 실행 시간은 eO(n·poly(d))이며, n은 샘플 수이므로 샘플 크기에 대해 거의 선형이다.
• 10⁶개의 샘플에 대해 히스토그램 가설의 경우 35毫초 미만, 조각다항식 가설의 경우 0.3초 미만으로 실행되며, 정렬 기반 방법을 능가한다.
• 학습 오차는 O(t(d+1)/ϵ²)로 감소하며, 오차 상한의 상수 인자 값이 1에 가까워 거의 최적임을 시사한다.
• 실행 시간은 기저 분포에 거의 의존하지 않아 강건하며, 뛰어난 실용적 성능를 보여준다.
• 이 방법은 가우시안 혼합분포, 로그-볼록, t-모노톤, 베소프 공간 밀도에 대해 처음으로 샘플 최적이고 거의 선형 시간 성능를 갖는 추정기를 제공한다.