[논문 리뷰] Sample-based high-dimensional convexity testing

Xi Chen, Adam Freilich외 2명|arXiv (Cornell University)|2017. 06. 28.

Machine Learning and Algorithms참고 문헌 25인용 수 8

한 줄 요약

이 논문은 표준 정규분포 하에서 고차원 공간에서 샘플 기반 볼록성 테스팅을 연구하며, 레이블이 부여된 샘플을 사용하여 볼록 집합과 볼록성에서 $\varepsilon$-떨어진 집합을 구분하는 알고리즘을 제안한다. 이는 하나의 측면 테스팅에 대해 $2^{\tilde{\Theta}(n)}$이고, 두 개의 측면 테스팅에 대해 $2^{\tilde{\Theta}(\sqrt{n})}$인 거의 날카로운 샘플 복잡도 한계를 확립하며, 샘플 기반 모델에서 이 문제의 복잡도를 해결한다.

ABSTRACT

In the problem of high-dimensional convexity testing, there is an unknown set $S \subseteq \mathbb{R}^n$ which is promised to be either convex or $\varepsilon$-far from every convex body with respect to the standard multivariate normal distribution $\mathcal{N}(0, 1)^n$. The job of a testing algorithm is then to distinguish between these two cases while making as few inspections of the set $S$ as possible. In this work we consider sample-based testing algorithms, in which the testing algorithm only has access to labeled samples $(\boldsymbol{x},S(\boldsymbol{x}))$ where each $\boldsymbol{x}$ is independently drawn from $\mathcal{N}(0, 1)^n$. We give nearly matching sample complexity upper and lower bounds for both one-sided and two-sided convexity testing algorithms in this framework. For constant $\varepsilon$, our results show that the sample complexity of one-sided convexity testing is $2^{ ildeΘ(n)}$ samples, while for two-sided convexity testing it is $2^{ ildeΘ(\sqrt{n})}$.

연구 동기 및 목표

• 표준 정규분포에서의 레이블이 부여된 샘플만 이용 가능한 고차원 공간에서 볼록성 테스팅의 샘플 복잡도를 이해하는 것.
• 샘플 기반 프레임워크에서 볼록성을 연구함으로써 고차원 성질 테스팅과 기하 성질 테스팅 간 격차를 메우는 것.
• 모든 하나의 측면 및 두 개의 측면 볼록성 테스터에 대해 거의 일치하는 상한 및 하한을 샘플 복잡도에 대해 확립하는 것.
• 가우시안 측도 하에서 샘플 기반 모델에서 볼록성 테스팅의 복잡도를 해결하고, 날카로운 점근적 경계를 제공하는 것.

제안 방법

• 논문은 알고리즘이 독립적인 레이블이 부여된 샘플 $(\bm{x}, S(\bm{x}))$ 에 액세스하는 샘플 기반 테스팅 모델을 도입하며, $\bm{x} \sim \mathcal{N}(0,1)^n$이다.
• 하나의 측면 테스팅의 경우, 유한한 볼록 집합 커버를 사용한 가설 학습 접근법을 통해 $ (n/\varepsilon)^{O(n)} $ 샘플 복잡도를 달성한다.
• 두 개의 측면 테스팅의 경우, 가우시안 측도와 기하 커버링의 더 정교한 분석을 활용하여 $ n^{O(\sqrt{n}/\varepsilon^2)} $ 샘플 복잡도를 달성한다.
• 적은 수의 샘플로 구분하기 어려운 볼록 및 비볼록 집합의 어려운 분포로의 감소를 통해 하한을 증명한다.
• 분석은 볼록 집합의 구조적 결과, 특히 커버링 수 경계와 가우시안 측도 농도를 사용하여 대칭 차집합의 체적을 제한한다.
• 두 단계 알고리즘을 활용한다: 첫 번째 단계에서는 진짜 집합 $S$에 가까운 가설 집합 $H$를 학습하고, 두 번째 단계에서는 볼록 집합의 유한한 커버를 검색하여 $S$에 가까운 집합을 찾는다.

실험 결과

연구 질문

• RQ1 표준 정규분포 하에서 고차원 공간에서 샘플 기반 볼록성 테스팅의 샘플 복잡도는 무엇인가?
• RQ2 동일한 분포 하에서 고차원 공간에서 두 개의 측면 샘플 기반 볼록성 테스팅의 샘플 복잡도는 무엇인가?
• RQ3 이 모델에서 하나의 측면 및 두 개의 측면 테스터에 대해 거의 일치하는 상한 및 하한을 확립할 수 있는가?
• RQ4 샘플 기반 프레임워크에서 하나의 측면 오차와 두 개의 측면 오차 간 볼록성 테스팅의 복잡도는 어떻게 다를까?
• RQ5 가우시안 측도 하에서 볼록 집합의 어떤 구조적 성질이 날카로운 샘플 복잡도 경계를 가능하게 하는가?

주요 결과

• 하나의 측면 볼록성 테스팅의 샘플 복잡도는 $ 2^{\Omega(n)} $이며, 로그 인자 외에는 하한과 일치한다.
• 샘플 복잡도 $ 2^{O(n \log(n/\varepsilon))} $를 갖는 하나의 측면 테스터가 존재하며, 하한과 거의 일치한다.
• 두 개의 측면 볼록성 테스팅의 샘플 복잡도는 $ 2^{\Omega(\sqrt{n})} $이며, 하나의 측면 테스팅과의 큰 격차를 확립한다.
• 두 개의 측면 테스터는 샘플 복잡도 $ 2^{O(\sqrt{n} \log n / \varepsilon^2)} $를 달성하며, 하한과 거의 일치한다.
• 결과적으로, 가우시안 측도 하에서 고차원에서 두 개의 측면 테스팅이 하나의 측면 테스팅보다 훨씬 효율적임을 보여준다.
• 논문은 $\varepsilon$-떨어진 집합이 $ 2^{\tilde{\Theta}(\sqrt{n})} $개의 샘플로 탐지 가능하며, 하나의 측면 테스팅은 $ 2^{\tilde{\Theta}(n)} $개의 샘플이 필요하다고 밝혔다.