[論文レビュー] The Power of an Example: Hidden Set Size Approximation Using Group Queries and Conditional Sampling

Dana Ron, Gilad Tsur|arXiv (Cornell University)|Apr 20, 2014

Machine Learning and Algorithms参考文献 9被引用数 4

ひとこと要約

この論文は、既知の宇宙 $ U $ 内の未知の部分集合 $ S $ のサイズを近似する問題を研究しており、2種類のクエリを用いる：グループクエリ（$ S \cap T \neq \emptyset $ であるかを示す）と条件付きサンプリング（$ S \cap T $ が空でない場合に一様にランダムに要素を返す）。非適応的および適応的アルゴリズムの両方において、クエリの複雑さに関するタイトな境界を確立し、特に区間クエリのような構造的設定において、条件付きサンプリングがグループクエリに比べて顕著な利点を示していることを示している。

ABSTRACT

We study a basic problem of approximating the size of an unknown set $S$ in a known universe $U$. We consider two versions of the problem. In both versions the algorithm can specify subsets $T\subseteq U$. In the first version, which we refer to as the group query or subset query version, the algorithm is told whether $T\cap S$ is non-empty. In the second version, which we refer to as the subset sampling version, if $T\cap S$ is non-empty, then the algorithm receives a uniformly selected element from $T\cap S$. We study the difference between these two versions under different conditions on the subsets that the algorithm may query/sample, and in both the case that the algorithm is adaptive and the case where it is non-adaptive. In particular we focus on a natural family of allowed subsets, which correspond to intervals, as well as variants of this family.

研究の動機と目的

• 未知の部分集合 $ S \subseteq U $ のサイズを近似する際の、グループクエリと条件付きサンプリングの相対的なパワーを調査すること。
• クエリ可能またはサンプリング可能な部分集合 $ T \subseteq U $ に課される異なる制約下で、$ |S| $ のクエリの複雑さを分析すること。
• 両方のクエリモデルにおいて、適応的および非適応的アルゴリズムの効率性とクエリ回数の観点から比較すること。
• 高確率で $ (1+\epsilon) $-近似を得るために必要なクエリ／サンプルの数に対するタイトな上界および下界を確立すること。
• 区間やハッシュ関数によって定義される族のような、構造的制約が集合サイズ近似の効率に与える影響を調査すること。

提案手法

• 2種類のクエリモデルを提案：グループクエリ（$ S \cap T \neq \emptyset $ の有無を示すバイナリ回答）と条件付きサンプリング（$ S \cap T $ が空でない場合に一様に要素を返す）。
• 非適応的アルゴリズムを設計し、包含確率 $ 1/e_{\log n - i} $ を持つランダムな部分集合 $ R^j_i $ の系列を用い、$ \widehat{p}_i $ を否定的応答の割合として推定する。
• 2段階の適応的アルゴリズムを採用：まず、指数的に間隔をあけたしきい値を用いて $ \ell^* $ を特定し、$ e_{2^{\ell^*}} \approx w $ となるようにし、次に二分探索で推定値を精密化する。
• 統計的推定技術を用いて $ \widehat{p}_i $ の誤差を制限し、Chernoffの不等式を用いて集中を保証し、失敗確率に対する対数的依存性を確保する。
• 下界を証明するために、サイズがそれぞれ $ 2^i $ および $ 2^{i+1} $ のペア $ (S_1, S_2) $ の確率分布を用い、限られたクエリでは区別不能であることを示す。
• $ \epsilon < 1 $ の場合に適応するため、しきい値 $ e_i $ と信頼区間を修正し、各クエリあたり $ O(\log(1/\delta)/\epsilon^2) $ のサンプルで $ (1+\epsilon) $-近似を維持するように分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 未知の集合のサイズを近似する際、条件付きサンプリングのパワーはグループクエリに比べてどの程度優れているか？
• RQ2 適応的および非適応的設定の両方において、$ (1+\epsilon) $-近似を得るために必要な最適なクエリ／サンプル数は何か？
• RQ3 区間やハッシュ関数に基づく族のような、クエリ集合に課される構造的制約は、集合サイズ近似のクエリの複雑さにどのように影響するか？
• RQ4 同じクエリモデル下で、非適応的アルゴリズムは適応的アルゴリズムと同等の効率を達成できるか？
• RQ5 情報理論的限界（下界）として、正確な集合サイズ近似に必要なクエリ数の最小値は何か？

主な発見

• すべての部分集合の族に対して、条件付きサンプリングでは $ \tilde{O}(\sqrt{w}/\epsilon^2) $-クエリの上界が確立され、これは対数的要因を除いてタイトである。
• 区間クエリにおける非適応的設定では、特定の条件下で $ w $ に依存しない $ \tilde{O}(\log \log n / \epsilon^2) $ のクエリ複雑度を達成している。
• 区間クエリを用いた非適応的アルゴリズムに対して $ \Omega(\log \log n) $ の下界を証明し、上界がほぼ最適であることを示している。
• 区間クエリを用いた適応的アルゴリズムでは、$ \tilde{O}(\log \log w / \epsilon^2) $ のクエリ複雑度を達成しており、これは対数的要因を除いて最適である。
• 条件付きサンプリングはグループクエリに比べて顕著な利点を示す：グループクエリでは $ w $ を近似するために $ \Omega(\sqrt{w}) $ のクエリが必要であるのに対し、条件付きサンプリングでは $ \tilde{O}(\sqrt{w}/\epsilon^2) $ にまで削減され、$ \epsilon $ 依存性が多項式的である。
• $ w > n/w $ の場合、非適応的アルゴリズムは $ w = n $ から出発し、仮説を段階的に減少させることで $ \tilde{O}(\log w / \epsilon^2) $ の複雑度を達成でき、スパースな領域において効率が向上することを示している。