[논문 리뷰] Testing Identity of Multidimensional Histograms

Ilias Diakonikolas, Daniel M. Kane외 1명|arXiv (Cornell University)|2018. 04. 10.

Machine Learning and Algorithms참고 문헌 56인용 수 4

한 줄 요약

이 논문은 고정된 차원 $d$에서 다차원 $k$-히스토GRAM 분포에 대한 첫 번째 샘플 최적, 계산적으로 효율적인 신뢰도 테스터를 제시한다. 이는 샘플 복잡도 $O((\sqrt{k}/\epsilon^{2})2^{d/2}\log^{2.5d}(k/ heta))$를 달성하며, 거의 최적의 하한선과 일치한다. 알고리즘은 모델의 잘못 지정에 대해 강건하며, 이 비모수적 가족에 대해 학습 복잡도와 테스팅 복잡도 사이의 거의 최적의 분리 결과를 도출한다.

ABSTRACT

We investigate the problem of identity testing for multidimensional histogram distributions. A distribution $p: D ightarrow \mathbb{R}_+$, where $D \subseteq \mathbb{R}^d$, is called a $k$-histogram if there exists a partition of the domain into $k$ axis-aligned rectangles such that $p$ is constant within each such rectangle. Histograms are one of the most fundamental nonparametric families of distributions and have been extensively studied in computer science and statistics. We give the first identity tester for this problem with {\em sub-learning} sample complexity in any fixed dimension and a nearly-matching sample complexity lower bound. In more detail, let $q$ be an unknown $d$-dimensional $k$-histogram distribution in fixed dimension $d$, and $p$ be an explicitly given $d$-dimensional $k$-histogram. We want to correctly distinguish, with probability at least $2/3$, between the case that $p = q$ versus $\|p-q\|_1 \geq ε$. We design an algorithm for this hypothesis testing problem with sample complexity $O((\sqrt{k}/ε^2) 2^{d/2} \log^{2.5 d}(k/ε))$ that runs in sample-polynomial time. Our algorithm is robust to model misspecification, i.e., succeeds even if $q$ is only promised to be {\em close} to a $k$-histogram. Moreover, for $k = 2^{Ω(d)}$, we show a sample complexity lower bound of $(\sqrt{k}/ε^2) \cdot Ω(\log(k)/d)^{d-1}$ when $d\geq 2$. That is, for any fixed dimension $d$, our upper and lower bounds are nearly matching. Prior to our work, the sample complexity of the $d=1$ case was well-understood, but no algorithm with sub-learning sample complexity was known, even for $d=2$. Our new upper and lower bounds have interesting conceptual implications regarding the relation between learning and testing in this setting.

연구 동기 및 목표

• 샘플 복잡도가 학습 이하이고 도메인 크기의 선형 이하이며 차원의 지수에 의존하지 않는, $d$-차원 $k$-히스토GRAM 분포에 대한 효율적인 신뢰도 테스터를 설계한다.
• 고정된 차원 $d$에서 신뢰도 테스팅의 샘플 복잡도에 대해 거의 일치하는 상한과 하한을 확립한다.
• 다차원 히스토GRAM 가족에 대해 학습 복잡도와 테스팅 복잡도의 관계를 조사한다.
• 모델의 잘못 지정에 강건한 알고리즘을 개발하여 $q$가 정확히 $k$-히스토그램이 아니더라도, 근처에 있을 경우에도 잘 작동하도록 한다.
• 이미 알려진 $d=1$의 경우에서의 학습 이하 복잡도를 초과하여 $d \geq 2$로 확장한다.

제안 방법

• 알고리즘은 알려진 $k$-히스토그램 $p$의 구조에 기반하여 $d$-차원 도메인을 축에 평행한 직사각형으로 분할하는 전략을 사용한다.
• 알고리즘은 알려지지 않은 분포 $q$와 명시적인 분포 $p$에 대한 샘플 액세스를 사용하여 수정된 $\ell_1$-거리 추정 기법을 적용한다.
• 모수적 집중 부등식과 카이제곱 분산 분석을 활용하여 근본 가설과 대립 가설 하에서의 오류 확률을 제한한다.
• 하한선을 유도하기 위해, 신뢰도 테스팅을 철저히 구성된 분할 도메인에서 균일성 테스팅으로 환원하는 것이 핵심 요소이다.
• 정보 이론적 추론을 통해 하한선을 증명하기 위해, 적대적 분포의 랜덤 구성 기법을 분석에 통합한다.
• 알고리즘은 샘플 다항 시간 내에 실행되며, $\|q - \mathrm{histogram}\|_1 \leq \epsilon/3$에 대해 강건하다.

실험 결과

연구 질문

• RQ1 도메인 크기의 선형 이하이고 차원의 지수에 의존하지 않는 샘플 복잡도를 갖는, $d$-차원 $k$-히스토그램에 대한 신뢰도 테스터를 설계할 수 있는가?
• RQ2 고정된 차원 $d \geq 2$에서 $k$-히스토그램의 신뢰도 테스팅에 대한 최적의 샘플 복잡도는 무엇인가?
• RQ3 학습과 비교할 때 $k$-히스토그램의 신뢰도 테스팅 샘플 복잡도는 어떻게 되는가?
• RQ4 다차원 히스토그램의 신뢰도 테스팅에서 모델의 잘못 지정에 강건성을 달성할 수 있는가?
• RQ5 $k = 2^{\Omega(d)}$일 때, $k$-히스토그램의 신뢰도 테스팅에 대한 정보 이론적 한계는 무엇인가?

주요 결과

• 제안된 신뢰도 테스터는 고정된 차원 $d$에서 $d$-차원 $k$-히스토그램에 대해 샘플 복잡도 $O((\sqrt{k}/\epsilon^{2})2^{d/2}\log^{2.5d}(k/\epsilon))$를 달성한다.
• 알고리즘은 $q$가 정확히 $k$-히스토그램이 아니더라도 $\epsilon/3$ 이내일 경우에 대해 강건하다.
• 특히 $k = 2^{\Omega(d)}$ 및 $d \geq 2$일 때, 샘플 복잡도 하한선 $(\sqrt{k}/\epsilon^{2}) \cdot \Omega(\log(k)/d)^{d-1}$이 거의 일치하는 것으로 증명된다.
• 모든 고정된 차원 $d$에 대해 상한선과 하한선이 거의 일치하며, 샘플 복잡도는 로그 인자에 대해 근사적으로 해결된다.
• 이 작업은 $k$-히스토그램에 대해 학습과 신뢰도 테스팅 복잡도 사이의 거의 최적의 분리를 확립하며, 테스팅이 학습보다 훨씬 더 효율적일 수 있음을 보여준다.
• 결과적으로 다차원 히스토그램의 경우, 조건이 $k$가 $d$에 대해 지수적일 때조차도, 신뢰도 테스팅은 학습에 필요한 전반적인 샘플 복잡도를 요구하지 않음을 암시한다.