[論文レビュー] Near-Optimal Closeness Testing of Discrete Histogram Distributions

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Mar 6, 2017

Machine Learning and Algorithms参考文献 44被引用数 11

ひとこと要約

本稿では、$[n]$ 上の2つの離散的 $k$-ヒストограм分布の類似度をテストするための新しいアルゴリズムを提示する。このアルゴリズムは、近似的に最適な標本複雑性を達成し、$O(k^{4/5}/\tilde{\nabla}^{6/5})$ の境界を達成しており、先行研究に比べて多項式的要因で改善されている。また、長年の空白を解消する近似的に一致する情報理論的下界を確立しており、$k$、$n$、および$\epsilon$ に関するヒストограм類似度テストの標本複雑性の理解における空白を解消した。

ABSTRACT

We investigate the problem of testing the equivalence between two discrete histograms. A {\em $k$-histogram} over $[n]$ is a probability distribution that is piecewise constant over some set of $k$ intervals over $[n]$. Histograms have been extensively studied in computer science and statistics. Given a set of samples from two $k$-histogram distributions $p, q$ over $[n]$, we want to distinguish (with high probability) between the cases that $p = q$ and $\|p-q\|_1 \geq ε$. The main contribution of this paper is a new algorithm for this testing problem and a nearly matching information-theoretic lower bound. Specifically, the sample complexity of our algorithm matches our lower bound up to a logarithmic factor, improving on previous work by polynomial factors in the relevant parameters. Our algorithmic approach applies in a more general setting and yields improved sample upper bounds for testing closeness of other structured distributions as well.

研究の動機と目的

• 区間 $[n]$ 上の2つの $k$-ヒストグラム分布の類似度テストにおける標本複雑性の境界のギャップを埋める。
• 情報理論的下界にほぼ一致する標本複雑性を持つアルゴリズムを開発する。
• $k$、$n$、および $\epsilon$ の間の相互作用に起因する標本複雑性の依存関係を解明する。
• [DKN15a] のフレームワークを拡張し、構造的で離散的な分布のためのより高い標本効率を達成する。
• 提案されたアルゴリズムの最適性を示す、ほぼタイトな下界を提供する。

提案手法

• アルゴリズムは、擬似分布の新規構築に依存し、ブロック構造を持つ分布からのサンプリングをポisson過程を用いて模擬する。
• 主な構成要素には、$[W]$ 上で全変動距離が制御された分布族 $\mathcal{E}$、$\mathcal{E}_0$、および $\mathcal{F}$ の使用が含まれる。
• ブロック間の条件付き独立性を活用し、サンプリングプロセスと潜在的分布族間の相互情報量を制限する。
• 分布のハイブリッド構築法を用いる：$k+2m$ 個のサイズ $W$ のブロックに、それぞれ $\mathcal{E}_0/m$、$\mathcal{E}\epsilon/k$、および $\mathcal{F}/m$ を配置する。
• 標本サイズが最適でない場合の識別不能性を示すために、尾部解析と集中不等式を用いて相互情報量 $I(X:A)$ を制限する。
• 下界構築には、全変動距離と情報理論的議論を用いて、2つの族 $\mathcal{D}$ と $\mathcal{D}'$ を区別する。

実験結果

リサーチクエスチョン

• RQ1 区間 $[n]$ 上の2つの $k$-ヒストグラム分布の類似度テストにおける最適な標本複雑性は何か？
• RQ2 標本複雑性は $k$、$n$、および $\epsilon$ の相互作用にどのように依存するか？
• RQ3 先行研究の $O(k^{4/5}/\epsilon^{6/5})$ の境界を超えて、$k$-ヒストグラムの類似度テストの標本複雑性を改善できるか？
• RQ4 既存の下界 $\Omega(k^{2/3}/\epsilon^{4/3})$ はタイトか、それ以上に改善可能か？
• RQ5 [DKN15a] のフレームワークを拡張することで、ヒストグラムのような構造的で離散的な分布のためのほぼ最適な境界を得られるか？

主な発見

• 提案されたアルゴリズムは、$O(k^{4/5}/\epsilon^{6/5})$ の標本複雑性を達成しており、先行研究の上界 $O(k^{4/5}/\epsilon^{6/5})$ を多項式的要因で改善している。
• 情報理論的下界は $\Omega(k^{2/3}/\epsilon^{4/3})$ であり、対数要因を除いて上界にほぼ一致する。
• 標本複雑性はドメインサイズ $n$ に依存しない。これは、$k$-ヒストグラムの構造が顕著な効率向上を可能にしていることを示している。
• 下界は、巧みに構築された擬似分布族と相互情報量の議論に基づいて導出されており、$\Omega(k^{2/3}/\epsilon^{4/3})$ よりも良い標本複雑性を達成できるアルゴリズムは存在しないことを示している。
• この結果は、$k$、$n$、$\epsilon$ の間の非自明な関係が標本複雑性に影響することを示しており、単純な問題とは対照的である。
• このフレームワークは、ヒストグラムに限らず、他の構造的で離散的な分布の類似度テストに対しても、より良い標本境界をもたらす。