[論文レビュー] Testing Closeness With Unequal Sized Samples

Bhaswar B. Bhattacharya, Gregory Valiant|arXiv (Cornell University)|Apr 17, 2015

Machine Learning and Algorithms参考文献 23被引用数 11

ひとこと要約

本稿は、標本サイズが不等な2つの離散的分布間の類似度を評価するための統計的仮説検定を提案する。新規で単純な検定統計量を導入し、最適な標本複雑度を達成する。$ m_1 = \Theta(n^{2/3}/\varepsilon^{4/3}) $ および $ m_2 = \Omega(\max\{n/\sqrt{m}_1\varepsilon^2, \sqrt{n}/\varepsilon^2\}) $ が、$ p = q $ と $ \|p - q\|_1 \geq \varepsilon $ を区別するのに必要十分であることを示し、従来の研究と比較して $ n $ や $ \varepsilon $ に依存する部分を改善した、未十分にサンプリングされた状態における問題を解決する。

ABSTRACT

We consider the problem of closeness testing for two discrete distributions in the practically relevant setting of \emph{unequal} sized samples drawn from each of them. Specifically, given a target error parameter $\varepsilon > 0$, $m_1$ independent draws from an unknown distribution $p,$ and $m_2$ draws from an unknown distribution $q$, we describe a test for distinguishing the case that $p=q$ from the case that $||p-q||_1 \geq \varepsilon$. If $p$ and $q$ are supported on at most $n$ elements, then our test is successful with high probability provided $m_1\geq n^{2/3}/\varepsilon^{4/3}$ and $m_2 = Ω(\max\{\frac{n}{\sqrt m_1\varepsilon^2}, \frac{\sqrt n}{\varepsilon^2}\});$ we show that this tradeoff is optimal throughout this range, to constant factors. These results extend the recent work of Chan et al. who established the sample complexity when the two samples have equal sizes, and tightens the results of Acharya et al. by polynomials factors in both $n$ and $\varepsilon$. As a consequence, we obtain an algorithm for estimating the mixing time of a Markov chain on $n$ states up to a $\log n$ factor that uses $ ilde{O}(n^{3/2} τ_{mix})$ queries to a "next node" oracle, improving upon the $ ilde{O}(n^{5/3}τ_{mix})$ query algorithm of Batu et al. Finally, we note that the core of our testing algorithm is a relatively simple statistic that seems to perform well in practice, both on synthetic data and on natural language data.

研究の動機と目的

• 標本サイズが不等な状況下で、2つの離散的分布が同一か、それとも $ \ell_1 $-距離で分離しているかを検出するという根本的問題に取り組む。
• 標本サイズがサポートサイズ $ n $ より小さい、未十分にサンプリングされた状態における類似度検定の標本複雑度境界のギャップを埋める。
• 分布 $ p $ と $ q $ から得られる標本サイズ $ m_1 $ と $ m_2 $ の間の統一的かつ最適なトレードオフを提供する。このトレードオフにより、$ p = q $ と $ \|p - q\|_1 \geq \varepsilon $ を区別できるようにする。

提案手法

• 標本頻度の差に加え、不等な標本サイズの状況下でロバスト性を高める正規化項を組み合わせた、新規の検定統計量を提案する。
• 2段階の検定を採用：一般的なパrameter範囲では標準的な $ \ell_1 $-ベースの統計量を用い、$ m_1 \approx n $ の場合にのみ、新規の追加統計量を適用する。
• 集中不等式とモーメントに基づく解析（Valiantのフレームワークを用いて）を用いて、誤差確率の上限を導出し、最適性を確立する。
• ポisson化技術とモーメント比較を用いて、必要な標本サイズの下界を導出する。
• $ m_1 $ と $ m_2 $ のトレードオフを分析することで、タイトな標本複雑度境界を導出し、定数要因の意味で最適性を示す。
• 合成データおよび自然言語データ（例：bi-gram標本を用いた同義語検出）を用いた実験により、本手法の実用的性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 2つの離散的分布間の類似度を検定する際、標本サイズ $ m_1 $ と $ m_2 $ の間で最適なトレードオフは何か？
• RQ2 $ m_1 \approx n $ などの極端な状況を含め、$ m_1 $ と $ m_2 $ の全範囲にわたり、単一で単純な検定統計量が最適な性能を達成できるか？
• RQ3 片方の標本が他方よりも著しく小さい場合、等しい標本サイズのケースと比較して、類似度検定の標本複雑度はどのように変化するか？
• RQ4 不等な標本サイズ設定下で、$ p = q $ と $ \|p - q\|_1 \geq \varepsilon $ を区別するために必要な情報理論的下界は何か？
• RQ5 提案手法は、マルコフ連鎖の混合時間推定アルゴリズムの改善に応用可能か？

主な発見

• 提案手法は最適な標本複雑度を達成する：$ m_1 = \Theta(n^{2/3}/\varepsilon^{4/3}) $ および $ m_2 = \Omega(\max\{n/\sqrt{m}_1\varepsilon^2, \sqrt{n}/\varepsilon^2\}) $ であり、定数要因の意味で下界と一致する。
• このトレードオフは、等しい標本サイズのときの $ \Theta(n^{2/3}) $ の境界と、片方の分布が既知のときの $ \Theta(\sqrt{n}/\varepsilon^2) $ の境界の間を滑らかに補間する。
• 極端な状況（$ m_1 \approx n $）でさえも、本手法は最適である。この状況では、新規の追加統計量が不可欠である。
• マルコフ連鎖の混合時間推定におけるクエリ複雑度は、$ \tilde{O}(n^{5/3}\tau_{\text{mix}}) $ から $ \tilde{O}(n^{3/2}\tau_{\text{mix}}) $ に改善された。
• 核心的な検定統計量は、理論的に最適であるだけでなく、合成データおよび実世界のデータ（自然言語応用含む）においても実効的である。
• 下界の証明により、$ m_1 \geq n^{2/3}/\varepsilon^{4/3} $ のとき、$ q $ から $ \Omega(n/\sqrt{m}_1\varepsilon^2) $ 個の標本が必要であることが示され、上界のタイトさが裏付けられた。