[논문 리뷰] Properly Learning Poisson Binomial Distributions in Almost Polynomial Time

Ilias Diakonikolas, Daniel M. Kane외 1명|arXiv (Cornell University)|2015. 11. 12.

Machine Learning and Algorithms참고 문헌 54인용 수 7

한 줄 요약

이 논문은 거의 샘플 최적의 알고리즘을 제안하며, 거의 다항 시간 내에 포아송 이항 분포를 적절히 학습시키며, 총 변화 거리에서 오차 보장을 $\epsilon$ 으로 달성한다. 새로운 구조적 특성화를 도입함으로써, 임의의 PBD는 $O(\log(1/\epsilon))$개의 서로 다른 매개수를 가진 PBD와 $\epsilon$-근접해 있음을 보여주며, 이로 인해 학습 문제를 낮은 차수의 다항식 시스템을 소수 개 풀이하는 것으로 줄일 수 있게 되었고, 이에 따라 런타임이 $(1/\epsilon)^{O(\log\log(1/\epsilon))}$로 향상되었다. 이는 이전 방법에 비해 상당한 개선이다.

ABSTRACT

We give an algorithm for properly learning Poisson binomial distributions. A Poisson binomial distribution (PBD) of order $n$ is the discrete probability distribution of the sum of $n$ mutually independent Bernoulli random variables. Given $\widetilde{O}(1/ε^2)$ samples from an unknown PBD $\mathbf{p}$, our algorithm runs in time $(1/ε)^{O(\log \log (1/ε))}$, and outputs a hypothesis PBD that is $ε$-close to $\mathbf{p}$ in total variation distance. The previously best known running time for properly learning PBDs was $(1/ε)^{O(\log(1/ε))}$. As one of our main contributions, we provide a novel structural characterization of PBDs. We prove that, for all $ε>0,$ there exists an explicit collection $\cal{M}$ of $(1/ε)^{O(\log \log (1/ε))}$ vectors of multiplicities, such that for any PBD $\mathbf{p}$ there exists a PBD $\mathbf{q}$ with $O(\log(1/ε))$ distinct parameters whose multiplicities are given by some element of ${\cal M}$, such that $\mathbf{q}$ is $ε$-close to $\mathbf{p}$. Our proof combines tools from Fourier analysis and algebraic geometry. Our approach to the proper learning problem is as follows: Starting with an accurate non-proper hypothesis, we fit a PBD to this hypothesis. More specifically, we essentially start with the hypothesis computed by the computationally efficient non-proper learning algorithm in our recent work~\cite{DKS15}. Our aforementioned structural characterization allows us to reduce the corresponding fitting problem to a collection of $(1/ε)^{O(\log \log(1/ε))}$ systems of low-degree polynomial inequalities. We show that each such system can be solved in time $(1/ε)^{O(\log \log(1/ε))}$, which yields the overall running time of our algorithm.

연구 동기 및 목표

• 포아송 이항 분포(PBDs)에 대해 계산적으로 효율적인 적절한 학습 알고리즘을 개발하는 것. 여기서 가설은 PBD 가족의 원소여야 한다.
• 이전 방법이 $\epsilon$-커버에 대한 열거에 의존하여 $(1/\epsilon)^{O(\log(1/\epsilon))}$ 시간이 소요되는 계산적 장애를 극복하는 것.
• 모든 PBD는 오직 $O(\log(1/\epsilon))$개의 서로 다른 매개수를 가진 PBD와 $\epsilon$-근접해 있음을 보여주는 새로운 구조적 특성화를 확립하는 것.
• 적절한 학습 문제를 낮은 차수의 다항부등식 시스템을 소수 개 풀이하는 것으로 줄이는 것. 이를 통해 더 빠른 계산이 가능해진다.
• 샘플 복잡도가 거의 최적임을 입증하며, 알려진 하한선에 로그 인자 수준에서 일치한다.

제안 방법

• 새로운 구조적 특성화 도입: 모든 PBD는 $O(\log(1/\epsilon))$개의 서로 다른 매개수를 가지며, 이 매개수의 다중도가 크기가 $(1/\epsilon)^{O(\log\log(1/\epsilon))}$ 인 명시적 집합 $\mathcal{M}$에 속하는 PBD와 $\epsilon$-근접해 있다.
• DKS15b에서 제안한 계산적으로 효율적인 비적절한 학습 알고리즘을 사용하여 $O(1/\epsilon^2)$개의 샘플로 初기 가설을 확보한다.
• 모멘트 매칭 제약 조건에서 유도된 낮은 차수의 다항부등식 시스템을 풀어, 비적절한 가설에 적합한 PBD를 피팅하는 것으로 적절한 학습 문제를 축소한다.
• 각 후보 다중도 벡터 $m \in \mathcal{M}$에 대해, 매개수가 $m$과 일치하는 PBD가 목표 분포와 $\epsilon$-근접함을 나타내는 다항부등식 시스템 $\mathcal{P}_m$을 구성한다.
• 정밀도 $\epsilon/(2k)$로 각 $\mathcal{P}_m$에 다항식 시스템 해법기법(정리 10)을 적용한다. 여기서 $k$는 비영인 다중도의 합이다.
• 첫 번째 유효한 PBD 해를 반환하며, 이는 참 분포와 $\epsilon$-근접해 있음을 보장받는다.

실험 결과

연구 질문

• RQ1 이전에 알려진 최선의 bound인 $(1/\epsilon)^{O(\log(1/\epsilon))}$ 보다 훨씬 낮은 런타임을 갖는 포아송 이항 분포에 대한 적절한 학습 알고리즘을 설계할 수 있는가?
• RQ2 학습을 위해 매개수의 수를 $O(\log(1/\epsilon))$로 줄일 수 있는 PBD의 구조적 특성화가 존재하는가?
• RQ3 알고리즘 기하학과 다항식 최적화를 활용하여, 계산적으로 금기시되는 $\epsilon$-커버 열거 접근법을 피할 수 있는가?
• RQ4 새로운 구조적 통찰이 거의 최적의 샘플 복잡도와 초지수적 런타임을 갖는 적절한 학습 알고리즘을 가능하게 하는가?
• RQ5 제안된 방법은 정수 값을 가진 독립적인 확률변수의 합 또는 포아송 다항분포와 같은 다른 이산 분포 가족으로 일반화될 수 있는가?

주요 결과

• 알고리즘의 런타임은 $(1/\epsilon)^{O(\log\log(1/\epsilon))}$이며, 이는 이전 최선의 bound인 $(1/\epsilon)^{O(\log(1/\epsilon))}$ 대비 초다항적 개선이다.
• 샘플 복잡도는 $\widetilde{O}(1/\epsilon^2)$이며, 이는 알려진 하한선에 로그 인자 수준에서 일치하여 거의 최적임이 입증되었다.
• 저자들은 새로운 구조적 특성화를 확립하였다: 모든 PBD는 오직 $O(\log(1/\epsilon))$개의 서로 다른 매개수를 가지며, 이 매개수의 다중도는 크기가 $(1/\epsilon)^{O(\log\log(1/\epsilon))}$ 인 집합에서 유래한다.
• 해당 알고리즘의 정당성은 어떤 $m \in \mathcal{M}$에 대해 대응하는 시스템 $\mathcal{P}_m$이 존재하며, 이는 $\epsilon$-근접한 PBD를 생성함을 보여줌으로써 보장된다.
• 알고리즘은 높은 확률로 참 분포와 총 변화 거리에서 $\epsilon$-근접한 적절한 가설(즉, PBD)을 출력한다.
• 푸리에 분석과代수기하학 도구를 활용하여 구조적 결과를 도출하고, 이를 효율적으로 다항식 시스템을 해법하는 데 활용하였다.