[論文レビュー] Faster Algorithms for Testing under Conditional Sampling

Moein Falahatgar, Ashkan Jafarpour+3 more|arXiv (Cornell University)|Apr 16, 2015

Machine Learning and Algorithms参考文献 1被引用数 3

ひとこと要約

この論文は、ドメインのユーザー指定サブセットからのサンプルを返す条件付きサンプリングモデルにおける分布性質テストのためのより高速なアルゴリズムを提示する。アイデンティティテストでは $ widetilde{ mathcal{O}}( epsilon^{-2})$ の最適なサンプル複雑性を達成し、距離テストでは $ widetilde{ mathcal{O}}( epsilon^{-5} log log k)$ のサブログラティズミックな複雑性を達成する。これは従来の境界を顕著に改善し、情報理論的限界と一致する。

ABSTRACT

There has been considerable recent interest in distribution-tests whose run-time and sample requirements are sublinear in the domain-size $k$. We study two of the most important tests under the conditional-sampling model where each query specifies a subset $S$ of the domain, and the response is a sample drawn from $S$ according to the underlying distribution. For identity testing, which asks whether the underlying distribution equals a specific given distribution or $ε$-differs from it, we reduce the known time and sample complexities from $ ilde{\mathcal{O}}(ε^{-4})$ to $ ilde{\mathcal{O}}(ε^{-2})$, thereby matching the information theoretic lower bound. For closeness testing, which asks whether two distributions underlying observed data sets are equal or different, we reduce existing complexity from $ ilde{\mathcal{O}}(ε^{-4} \log^5 k)$ to an even sub-logarithmic $ ilde{\mathcal{O}}(ε^{-5} \log \log k)$ thus providing a better bound to an open problem in Bertinoro Workshop on Sublinear Algorithms [Fisher, 2004].

研究の動機と目的

• 条件付きサンプリングモデルにおけるアイデンティティテストと距離テストのサンプル複雑性と実行時間複雑性を低減すること。
• アイデンティティテストにおける既知の上界と情報理論的下界のギャップを埋めること。
• 距離テストの複雑性に関する部分線形アルゴリズム分野における未解決問題を解決すること。
• 距離テストにおいてドメインサイズ $k$ に対するサブログラティズミックな依存性を達成する効率的なアルゴリズムを開発すること。

提案手法

• ユーザーが定義したドメインのサブセットからのサンプルを返す条件付きサンプリングクエリを利用する。
• 顕著なドメイン要素を効率的に特定するための新しい再帰的バイナリサーチフレームワークを導入する。
• 低確率要素を削除して探索空間を縮小するためのプルーニング技術を採用する。
• 少数のサンプルで高い信頼性をもって分布パラメータを近似するためのマルチレベル近似戦略を用いる。
• カイ二乗分布の差異と集中不等式に基づいて導かれた誤差バウンドを有する、巧みに設計されたサンプリング戦略を適用する。
• 補助的距離テストとバイナリサーチの複数のサブルーチンを統合し、階層的なアルゴリズムパイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティテストは、情報理論的下界と一致するサンプル複雑性で実行可能か？
• RQ2 特に $k$ への依存関係に関して、条件付きサンプリング下での距離テストの最適なサンプル複雑性は何か？
• RQ3 距離テストにおける $k$ への依存関係をサブログラティズミックレベルにまで低減できるか？
• RQ4 標準的なサンプリングモデルと比較して、条件付きサンプリングをどのように活用すれば、著しく改善された複雑性を持つアルゴリズムを設計できるか？

主な発見

• アイデンティティテストのサンプル複雑性は $\nwidetilde{\nmathcal{O}}(\nepsilon^{-2})$ に低減され、情報理論的下界と一致する。
• 距離テストでは、サンプル複雑性が $\nwidetilde{\nmathcal{O}}(\nepsilon^{-5}\nlog\nlog k)$ に向上し、$k$ に対するサブログラティズミックな依存性を達成する。
• 距離テストのためのアルゴリズムは、Bertinoro サブ線形アルゴリズムワークショップ（Fisher, 2014）で提示された未解決問題を解決する。
• 2つの分布が $\nepsilon$-far である場合、成功確率が少なくとも $1/30$ 以上である。2つの分布が等しい場合、成功確率は $1-\delta$ 以上である。
• 距離テストアルゴリズムの総サンプル複雑性は $\nwidetilde{\nmathcal{O}}(\nepsilon^{-5}\nlog\nlog k)$ であり、以前の $\nwidetilde{\nmathcal{O}}(\nepsilon^{-4}\nlog^5 k)$ の境界を改善する。