[論文レビュー] Sample-based high-dimensional convexity testing

Xi Chen, Adam Freilich+2 more|arXiv (Cornell University)|Jun 28, 2017

Machine Learning and Algorithms参考文献 25被引用数 8

ひとこと要約

本稿は、標準正規分布下での高次元空間におけるラベル付きサンプルに基づく凸性検定を研究し、凸集合と$\varepsilon$-離れた集合を区別するアルゴリズムを提案する。サンプルの複雑さのほぼタイトな境界を確立した：片側検定では$2^{\tilde{\Theta}(n)}$、両側検定では$2^{\tilde{\Theta}(\sqrt{n})}$であり、サンプルベースのモデルにおけるこの問題の複雑さを解消した。

ABSTRACT

In the problem of high-dimensional convexity testing, there is an unknown set $S \subseteq \mathbb{R}^n$ which is promised to be either convex or $\varepsilon$-far from every convex body with respect to the standard multivariate normal distribution $\mathcal{N}(0, 1)^n$. The job of a testing algorithm is then to distinguish between these two cases while making as few inspections of the set $S$ as possible. In this work we consider sample-based testing algorithms, in which the testing algorithm only has access to labeled samples $(\boldsymbol{x},S(\boldsymbol{x}))$ where each $\boldsymbol{x}$ is independently drawn from $\mathcal{N}(0, 1)^n$. We give nearly matching sample complexity upper and lower bounds for both one-sided and two-sided convexity testing algorithms in this framework. For constant $\varepsilon$, our results show that the sample complexity of one-sided convexity testing is $2^{ ildeΘ(n)}$ samples, while for two-sided convexity testing it is $2^{ ildeΘ(\sqrt{n})}$.

研究の動機と目的

• ラベル付きサンプルが標準正規分布から得られる場合に、高次元空間における凸性検定のサンプル複雑さを理解すること。
• 高次元性の性質検定と幾何的性質検定のギャップを埋めるために、サンプルベースの枠組みにおいて凸性を研究すること。
• 片側および両側凸性検定器の両方について、ほぼ一致する上界と下界をサンプル複雑さに確立すること。
• ガウス測度下でのサンプルベースのモデルにおける凸性検定の複雑さを解消し、タイトな漸近的境界を提供すること。

提案手法

• 本稿は、アルゴリズムが独立したラベル付きサンプル$(\bm{x}, S(\bm{x}))$にアクセスできるサンプルベースのテストモデルを導入し、$\bm{x} \sim \mathcal{N}(0,1)^n$を満たす。
• 片側検定では、凸集合の有限カバーを用いた仮説学習アプローチにより、サンプル複雑さ$(n/\varepsilon)^{O(n)}$を達成するテスト器を構築する。
• 両側検定では、ガウス測度と幾何的カバーのより洗練された分析を活用し、サンプル複雑さ$n^{O(\sqrt{n}/\varepsilon^2)}$を達成する。
• 少数のサンプルで区別が難しい、凸集合および非凸集合の難しい分布への還元を用いて、下界を証明する。
• 凸集合の構造的結果、特にカバー数の境界とガウス測度の集中を用いて、対称差の体積を制限する。
• 2段階のアルゴリズムを採用する：まず、真の集合$S$に近い仮説集合$H$を学習し、次に凸集合の有限カバー上を探索して$S$に近いものを特定する。

実験結果

リサーチクエスチョン

• RQ1 標準正規分布下での高次元空間における片側サンプルベース凸性検定のサンプル複雑さは何か？
• RQ2 同様の分布下での高次元空間における両側サンプルベース凸性検定のサンプル複雑さは何か？
• RQ3 このモデルにおいて、片側および両側検定器の両方について、ほぼ一致する上界と下界を確立できるか？
• RQ4 サンプルベースの枠組みにおいて、片側誤差と両側誤差の凸性検定の複雑さはどのように異なるか？
• RQ5 ガウス測度下での凸集合のどの構造的性質が、タイトなサンプル複雑さの境界を可能にするか？

主な発見

• 片側凸性検定のサンプル複雑さは$2^{\Omega(n)}$であり、対数的要因を除いて下界と一致する。
• 片側検定器はサンプル複雑さ$2^{O(n \log(n/\varepsilon))}$で存在し、下界にほぼ一致する。
• 両側凸性検定のサンプル複雑さは$2^{\Omega(\sqrt{n})}$であり、片側検定とは顕著な差が生じる。
• 両側検定器はサンプル複雑さ$2^{O(\sqrt{n} \log n / \varepsilon^2)}$を達成し、下界にほぼ一致する。
• 結果として、ガウス測度下では高次元において両側検定が片側検定よりも著しく効率的であることが示された。
• 本稿は、$\varepsilon$-離れた集合が$2^{\tilde{\Theta}(\sqrt{n})}$のサンプルで検出可能であることを確立したが、片側検定では$2^{\tilde{\Theta}(n)}$のサンプルが必要である。