[논문 리뷰] Optimal Learning via the Fourier Transform for Sums of Independent Integer Random Variables

Ilias Diakonikolas, Daniel M. Kane외 1명|arXiv (Cornell University)|2015. 05. 04.

Machine Learning and Algorithms참고 문헌 52인용 수 12

한 줄 요약

이 논문은 푸리에 변환을 사용하여 독립 정수 랜덤 변수의 합(SIIRVs)을 학습하는 계산적으로 효율적인 알고리즘을 제안한다. 이 알고리즘은 $ widetilde{O}(k/\epsilon^2)$의 최적 샘플 복잡도를 달성하며, 정보 이론적 하한선 $ Theta((k/\epsilon^2)\sqrt{\log(1/\epsilon)})$을 증명한다. 핵심 통찰은 $k$-SIIRV의 푸리에 변환이 근사적으로 희박하다는 점으로, 이는 스펙트럼 방법을 통해 정확하고 효율적인 학습을 가능하게 한다.

ABSTRACT

We study the structure and learnability of sums of independent integer random variables (SIIRVs). For $k \in \mathbb{Z}_{+}$, a $k$-SIIRV of order $n \in \mathbb{Z}_{+}$ is the probability distribution of the sum of $n$ independent random variables each supported on $\{0, 1, \dots, k-1\}$. We denote by ${\cal S}_{n,k}$ the set of all $k$-SIIRVs of order $n$. In this paper, we tightly characterize the sample and computational complexity of learning $k$-SIIRVs. More precisely, we design a computationally efficient algorithm that uses $\widetilde{O}(k/ε^2)$ samples, and learns an arbitrary $k$-SIIRV within error $ε,$ in total variation distance. Moreover, we show that the {\em optimal} sample complexity of this learning problem is $Θ((k/ε^2)\sqrt{\log(1/ε)}).$ Our algorithm proceeds by learning the Fourier transform of the target $k$-SIIRV in its effective support. Its correctness relies on the {\em approximate sparsity} of the Fourier transform of $k$-SIIRVs -- a structural property that we establish, roughly stating that the Fourier transform of $k$-SIIRVs has small magnitude outside a small set. Along the way we prove several new structural results about $k$-SIIRVs. As one of our main structural contributions, we give an efficient algorithm to construct a sparse {\em proper} $ε$-cover for ${\cal S}_{n,k},$ in total variation distance. We also obtain a novel geometric characterization of the space of $k$-SIIRVs. Our characterization allows us to prove a tight lower bound on the size of $ε$-covers for ${\cal S}_{n,k}$, and is the key ingredient in our tight sample complexity lower bound. Our approach of exploiting the sparsity of the Fourier transform in distribution learning is general, and has recently found additional applications.

연구 동기 및 목표

• 임의의 $k$-SIIRV를 총 변동 거리 $\epsilon$ 이내로 학습하는 데 필요한 샘플 및 계산 복잡도를 규명하는 것.
• $k$-SIIRV 학습의 샘플 복잡도에 대해 정보 이론적 상한과 하한을 날카롭게 설정하는 것.
• $\widetilde{O}(k/\epsilon^2)$ 샘플을 사용하는 계산적으로 효율적인 학습 알고리즘을 개발하는 것.
• 새로운 구조적 성질을 증명하는 것: $k$-SIIRV의 푸리에 변환은 그 유효 지지 집합에서 근사적으로 희박하다.
• 총 변동 거리 기준으로 $k$-SIIRV 공간에 대한 효율적인 희박한 $\epsilon$-커버를 구성하는 것.

제안 방법

• 알고리즘은 타겟 $k$-SIIRV의 푸리에 변환을 그 유효 지지 집합 내에서 학습하며, 변환의 근사 희박성을 활용한다.
• 이 방법은 $k$-SIIRV의 푸리에 계수들이 작은 집합 외부에서 급격히 감쇠함을 이용하여, 적은 샘플 수로도 정확한 추정이 가능하다는 점을 활용한다.
• 기하학적 및 스펙트럼적 성질을 기반으로 $\mathcal{S}_{n,k}$에 대한 희박한 적절한 $\epsilon$-커버를 구성한다.
• 새로운 기하학적 특성화를 유도하여, $\epsilon$-커버의 크기에 대한 날카운 경계를 도출한다.
• 하한선 증명은 제어된 총 변동 거리 기준으로 구성된 $k$-SIIRV의 고급 하이퍼큐브에 대해 아소아드의 보조정리를 사용한다.
• 분석은 포아송 이항 분포 및 그 조건부 분포에 대한 농도 및 반농도 경계에 의존한다.

실험 결과

연구 질문

• RQ1 총 변동 거리 $\epsilon$ 이내로 $k$-SIIRV를 학습하는 데 최적의 샘플 복잡도는 무엇인가?
• RQ2 $k$-SIIRV의 푸리에 변환을 사용하여 계산적으로 효율적인 학습 알고리즘을 설계할 수 있는가?
• RQ3 $k$-SIIRV의 푸리에 변환은 근사적으로 희박한가? 그리고 이를 어떻게 학습에 활용할 수 있는가?
• RQ4 총 변동 거리 기준으로 $k$-SIIRV 공간에 대한 $\epsilon$-커버의 최소 크기는 얼마인가?
• RQ5 정보 이론적 방법을 사용하여 샘플 복잡도에 대한 날카운 하한선을 확립할 수 있는가?

주요 결과

• 총 변동 거리 $\epsilon$ 이내로 $k$-SIIRV를 학습하는 데 필요한 최적 샘플 복잡도는 $\Theta\left(\frac{k}{\epsilon^2}\sqrt{\log(1/\epsilon)}\right)$이다.
• 제안된 알고리즘은 $\widetilde{O}(k/\epsilon^2)$ 샘플을 사용하여 이 경계에 도달하며, 샘플 크기의 다항식 시간 내에 실행된다.
• 모든 $k$-SIIRV의 푸리에 변환은 근사적으로 희박하며, $L^2$-질량의 대부분이 크기가 $O(k/\epsilon^2)$인 집합에 집중되어 있다.
• $\mathcal{S}_{n,k}$에 대해 크기가 $\widetilde{O}(k/\epsilon^2)$인 희박한 적절한 $\epsilon$-커버를 효율적으로 구성할 수 있다.
• $k$-SIIRV의 기하학적 특성화를 통해 어떤 $\epsilon$-커버의 크기에 대한 날카운 하한선을 증명할 수 있으며, 이는 커버 구성의 최적성 확인에 기여한다.
• 하한선 구성은 상호간 총 변동 거리가 $\Omega(2^{-Cn})$인 $k$-SIIRV의 하이퍼큐브를 사용하여, 샘플 복잡도 하한선 $\Omega\left((k/\epsilon^2)\sqrt{\log(1/\epsilon)}\right)$을 이끌어낸다.