[論文レビュー] Testing Closeness of Discrete Distributions

Tuğkan Batu, Lance Fortnow+3 more|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|Sep 27, 2010

Machine Learning and Algorithms参考文献 40被引用数 12

ひとこと要約

本稿では、2つの離散確率分布間のℓ1距離をテストするためのサブラインアー時間アルゴリズムを提示する。サンプル数はO(n²/³ǫ⁻⁸/³ log n)であり、単純な方法の線形なサンプル複雑性と比べて顕著に改善されている。本手法は、低確率要素のℓ2距離推定と、フィルタリング技術を用いた高確率要素の直接ℓ1推定を組み合わせており、対数要因を除いて最適なサンプル複雑性を達成している。応用例として、マコフ連鎖の急速混合性のテストが挙げられる。

ABSTRACT

Given samples from two distributions over an $n$-element set, we wish to test whether these distributions are statistically close. We present an algorithm which uses sublinear in $n$, specifically, $O(n^{2/3}ε^{-8/3}\log n)$, independent samples from each distribution, runs in time linear in the sample size, makes no assumptions about the structure of the distributions, and distinguishes the cases when the distance between the distributions is small (less than $\max\{ε^{4/3}n^{-1/3}/32, εn^{-1/2}/4\}$) or large (more than $ε$) in $\ell_1$ distance. This result can be compared to the lower bound of $Ω(n^{2/3}ε^{-2/3})$ for this problem given by Valiant. Our algorithm has applications to the problem of testing whether a given Markov process is rapidly mixing. We present sublinear for several variants of this problem as well.

研究の動機と目的

• 2つの離散確率分布がℓ1距離において近いかどうかを、nに線形でないサンプル数でテストするアルゴリズムを開発すること。
• 構造的仮定を一切行わない状況下で、独立なサンプルのみが利用可能な際の分布の近さテストの課題に対処すること。
• アルゴリズムをマコフ連鎖の性質テストに応用し、特に連鎖が急速に混合するかどうかを特定すること。
• 既知の下界と一致する対数要因を除いて最適なサンプル複雑性を達成すること。

提案手法

• アルゴリズムは、ǫとnに依存する閾値から導かれる基準に基づき、ドメインを高確率要素と低確率要素に分割するフィルタリング戦略を用いる。
• 高確率要素に対しては、誤差を制御したナードなサンプリングアプローチを用いて直接ℓ1推定を実行する。
• 低確率要素に対しては、ℓ1距離がℓ2距離の√n倍以内であるという事実を活用し、O(ǫ⁻⁴ log(1/δ))のサンプルでℓ2距離を推定する。
• 両方のコンポonentからの推定値を重み付き誤差バウンドを用いて組み合わせ、全体のℓ1距離がǫ以内に推定されるように保証する。
• 高確率部と低確率部からの誤差寄与をバランスさせるために、フィルタリングの閾値を最適化する。
• エッジウォークサンプリングを用いることで、このフレームワークをマコフ連鎖に拡張し、tステップ後の分布が定常分布に近いかどうかをテストする。

実験結果

リサーチクエスチョン

• RQ1 構造的仮定を一切行わず、nに線形でないサンプル数で2つの離散確率分布がℓ1距離において近いかどうかをテストできるか？
• RQ2 独立なサンプルのみが利用可能な状況下で、2つの分布間のℓ1距離をテストするための最適なサンプル複雑性は何か？
• RQ3 ℓ2距離推定を活用することで、サブラインアーな状態で効率的なℓ1テストを達成できるか？
• RQ4 このアプローチを、連鎖が急速に混合するかどうか（すなわち、定常状態に速く到達するか）をテストするのにも応用できるか？
• RQ5 特にスパースまたは構造的特徴を持つ状況下で、マコフ連鎖の急速混合性への近さをテストするためのサンプル複雑性は何か？

主な発見

• アルゴリズムはO(n²/³ǫ⁻⁸/³ log(n/δ))のサンプルを用いてℓ1距離をテストし、対数要因を除いて最適であり、ValiantのΩ(n²/³ǫ⁻²/³)の下界と一致する。
• 高確率要素のℓ1推定と低確率要素のℓ2推定の間で、誤差の合計を最小化するバランスを取っている。
• マコフ連鎖に対しては、tステップ後の分布が定常分布に近いかどうかをテストする。この場合、約˜O(tn⁵/³)のエッジをたどるが、tが小さい場合には依然としてサブラインアーのままである。
• 連鎖が(ǫ, t)-混合である場合、テストは確率2/3以上で受理される。一方、連鎖が任意の(4ǫ, 2t)-混合連鎖に対して(2ǫ, 1.01ǫ)近さでない場合、確率2/3以上で拒否される。
• スパースなマコフ連鎖に対しては、行のサポートサイズに応じて状態を再重み付けし、この分布下での滑らかさへの近さをテストすることで、フレームワークを拡張できる。
• 無向グラフに対しては、一様分布テストャーを用いることで高速化が可能となり、定常分布が一様である場合には複雑性が低下する。