[논문 리뷰] Near-optimal Sample Complexity Bounds for Robust Learning of Gaussians Mixtures via Compression Schemes

Hassan Ashtiani, Shai Ben-David외 4명|arXiv (Cornell University)|2017. 10. 14.

Machine Learning and Algorithms참고 문헌 49인용 수 4

한 줄 요약

이 논문은 분포 학습을 위한 압축 기반 프레임워크를 제안하며, 작은 압축 체계를 갖는 클래스가 가우시안 혼합 분포의 강건한 학습에서 거의 최적의 표본 복잡도를 달성할 수 있음을 증명한다. 일반 가우시안 분포에 대해선 $\tilde{\Theta}(kd^2/\epsilon^2)$, 축에 맞춰진 가우시안 분포에 대해선 $\tilde{O}(kd/\epsilon^2)$의 날카운 표본 복잡도를 확립하며, 기존 알려진 하한값과 일치하고, 일반화된(강건한) 학습 설정으로까지 확장된다.

ABSTRACT

We prove that $ ildeΘ(k d^2 / \varepsilon^2)$ samples are necessary and sufficient for learning a mixture of $k$ Gaussians in $\mathbb{R}^d$, up to error $\varepsilon$ in total variation distance. This improves both the known upper bounds and lower bounds for this problem. For mixtures of axis-aligned Gaussians, we show that $ ilde{O}(k d / \varepsilon^2)$ samples suffice, matching a known lower bound. Moreover, these results hold in the agnostic-learning/robust-estimation setting as well, where the target distribution is only approximately a mixture of Gaussians. The upper bound is shown using a novel technique for distribution learning based on a notion of `compression.' Any class of distributions that allows such a compression scheme can also be learned with few samples. Moreover, if a class of distributions has such a compression scheme, then so do the classes of products and mixtures of those distributions. The core of our main result is showing that the class of Gaussians in $\mathbb{R}^d$ admits a small-sized compression scheme.

연구 동기 및 목표

• 표본 압축 체계를 사용하여 분포 학습에서 표본 복잡도를 제한하는 일반적인 방법을 개발하는 것.
• 총변동 거리 기준으로 $\mathbb{R}^d$에서 $k$개의 가우시안 혼합 분포를 학습할 때, 날카운 근접 최적의 표본 복잡도 상한을 확립하는 것.
• 목표 분포가 가우시안 혼합 분포에 근접할 뿐이지만 정확한 가우시안 혼합 분포가 아닌 일반화된(강건한) 학습 설정으로 결과를 확장하는 것.
• 기본 분포에 대한 압축 체계가 그들의 곱과 혼합 분포에 대해서도 압축 체계를 유도함을 보이는 것.
• 혼합 클래스의 내재 차원에 대한 열린 질문을 해결하기 위해, 표본 복잡도를 매개변수 수와 압축 크기와 연결함으로써 이를 형식화하는 것.

제안 방법

• 각 분포 클래스에 속하는 분포가 그 표본의 소량의 부분집합으로 압축될 수 있도록 하는 새로운 분포에 대한 표본 압축의 개념을 제안한다.
• 작은 압축 체계를 갖는 어떤 클래스이든, 그 크기에 비례하는 표본 복잡도로 학습될 수 있음을 보여준다.
• d차원 가우시안 분포와 축에 맞춰진 가우시안 분포의 클래스에 대한 명시적 압축 체계를 구성하며, 그 존재성과 크기를 증명한다.
• 압축 체계의 닫힘 성질을 활용하여 혼합 연산에 대한 압축 체계의 닫힘 성질을 통해 가우시안 혼합 분포의 표본 복잡도 상한을 유도한다.
• 표본의 압축된 표본에서 목표 분포를 추정할 때의 오차를 유계로 만드는 데 농도와 커버링 추론을 적용한다.
• 실현 가능한 학습에서 일반화된 학습으로 결과를 확장하기 위해, 압축 체계가 총변동 거리 기준에서 강건한 학습 보장을 유도함을 증명한다.

실험 결과

연구 질문

• RQ1 압축 기반 프레임워크를 사용하여 가우시안 혼합 모델 학습의 날카운 표본 복잡도 상한을 유도할 수 있는가?
• RQ2 총변동 거리 기준으로 $\mathbb{R}^d$에서 $k$개의 가우시안 혼합 분포를 $\varepsilon$ 이내로 강건하게 학습할 때 최적의 표본 복잡도는 무엇인가?
• RQ3 축에 맞춰진 가우시안 혼합 분포의 표본 복잡도는 일반 가우시안 분포와 비교해 어떻게 되며, 기존 알려진 하한값과 일치할 수 있는가?
• RQ4 어떤 분포 클래스에 압축 체계가 존재하면, 그들의 혼합 분포 클래스 역시 작은 압축 체계를 갖는가?
• RQ5 분포 클래스 학습의 표본 복잡도는 그 내재 차원에 의해 결정되며, 이는 압축을 통해 형식화될 수 있는가?

주요 결과

• 일반 가우시안 혼합 분포를 $\mathbb{R}^d$에서 학습할 때의 표본 복잡도는 $\tilde{\Theta}(kd^2/\varepsilon^2)$이며, 다항로그 인자 외에는 날카롭게 tight하다.
• 축에 맞춰진 가우시안 혼합 분포의 경우 표본 복잡도는 $\tilde{O}(kd/\varepsilon^2)$이며, 알려진 하한값과 정확히 일치한다.
• 결과는 목표 분포가 가우시안 혼합 분포에 근접할 뿐 정확한 혼합 분포가 아닌 일반화된(강건한) 학습 설정에서도 성립한다.
• $d$차원 가우시안 분포의 클래스는 작은 압축 체계를 갖는다. 이는 혼합 분포에 대해 날카운 상한을 도출하는 데 기여한다.
• 압축 체계는 혼합 연산에 대해 닫혀 있다: 어떤 클래스가 압축 체계를 갖는다면, 그 혼합 및 곱 분포 역시 압축 체계를 갖는다.
• 이 프레임워크는 이전의 상한 및 하한을 개선하여, 가우시안 혼합 분포 학습의 표본 복잡도에 대한 오랫동안 떠 있던 격차를 해결한다.