[論文レビュー] The Optimality of Correlated Sampling

Mohammad Bavarian, Badih Ghazi+4 more|arXiv (Cornell University)|Dec 4, 2016

Complexity and Algorithms in Graphs参考文献 6被引用数 11

ひとこと要約

この論文は、全変動距離が $\delta$ である分布に対して、最大 $2\delta/(1+\delta)$ の不一致確率を達成する広く知られた相関サンプリング戦略が、本質的に最適であることを証明している。著者らは制約付き一致問題を導入し、それを解くことでタイトな下界を確立し、この手法の最適性に関する長年の未解決問題を解決した。

ABSTRACT

In the problem, two players are given probability distributions $P$ and $Q$, respectively, over the same finite set, with access to shared randomness. Without any communication, the two players are each required to output an element sampled according to their respective distributions, while trying to minimize the probability that their outputs disagree. A well known strategy due to Kleinberg-Tardos and Holenstein, with a close variant (for a similar problem) due to Broder, solves this task with disagreement probability at most $2 \delta/(1+\delta)$, where $\delta$ is the total variation distance between $P$ and $Q$. This strategy has been used in several different contexts, including sketching algorithms, approximation algorithms based on rounding linear programming relaxations, the study of parallel repetition and cryptography. In this paper, we give a surprisingly simple proof that this strategy is essentially optimal. Specifically, for every $\delta \in (0,1)$, we show that any correlated sampling strategy incurs a disagreement probability of essentially $2\delta/(1+\delta)$ on some inputs $P$ and $Q$ with total variation distance at most $\delta$. This partially answers a recent question of Rivest. Our proof is based on studying a new problem that we call constrained agreement. Here, the two players are given subsets $A \subseteq [n]$ and $B \subseteq [n]$, respectively, and their goal is to output an element $i \in A$ and $j \in B$, respectively, while minimizing the probability that $i eq j$. We prove tight bounds for this question, which in turn imply tight bounds for correlated sampling. Though we settle basic questions about the two problems, our formulation leads to more fine-grained questions that remain open.

研究の動機と目的

• スケッチ、近似アルゴリズム、暗号における使用に特化した相関サンプリング戦略の理論的最適性を確立すること。
• リヴェストが提起した最近の未解決問題、すなわち相関サンプリングの $2\delta/(1+\delta)$ の境界のタイトさを解消すること。
• 相関サンプリングの下界を研究するための新しいフレームワークとして、制約付き一致問題を導入・分析すること。
• 制約付き一致問題に対するタイトな境界を導出し、それが直接的に相関サンプリングのタイトな境界を示すこと。
• コアの最適性問題を解決したにもかかわらず、依然として未解決の細分化された問題を特定・形式化すること。

提案手法

• 2人のプレイヤーが $[n]$ の部分集合 $A$ および $B$ を持ち、それぞれ $A$ および $B$ の要素を出力する必要があり、不一致確率を最小化する制約付き一致問題を導入する。
• 確率論的および情報理論的技法を用いて、制約付き一致問題の最適戦略を分析する。
• 制約付き一致問題と相関サンプリングの間に双対性を確立し、片方の境界がもう片方の境界を示すことを示す。
• 相関サンプリングを制約付き一致問題に還元することで、任意の戦略が、全変動距離 $\leq \delta$ となるある入力に対して、不一致確率が少なくとも $2\delta/(1+\delta)$ を必要とすることを証明する。
• カップリングと極値分布に基づく、新たな分析技法を用いてタイトな下界を導出する。
• 一致する下界インスタンスを構築することで、既知の戦略が低次の項を除いて最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 相関サンプリングの $2\delta/(1+\delta)$ の境界は、すべての $\delta \in (0,1)$ に対してタイトか？
• RQ2 全変動距離 $\delta$ を持つ分布に対して、任意の相関サンプリング戦略が達成可能な最小の不一致確率は何か？
• RQ3 制約付き一致問題は最適に解けるか？ その解法は相関サンプリングとどのように関係するか？
• RQ4 全変動距離 $\delta$ を持つ分布のうち、どの相関サンプリング戦略でも $2\delta/(1+\delta)$ よりも良い不一致確率を達成できないものはあるか？
• RQ5 既知の境界を超えて、最適な相関サンプリング戦略の細分化された構造的性質は何か？

主な発見

• 不一致確率が $2\delta/(1+\delta)$ 以下である相関サンプリング戦略は、すべての $\delta \in (0,1)$ に対して漸近的に最適である。
• すべての $\delta \in (0,1)$ に対して、全変動距離が $\leq \delta$ である入力分布 $P$ および $Q$ が存在し、任意の相関サンプリング戦略はそれらに対して不一致確率が少なくとも $2\delta/(1+\delta)$ を引き起こす。
• 制約付き一致問題の最小不一致確率には、$2\delta/(1+\delta)$ のタイトな下界が存在し、これは既知の上界と一致する。
• 相関サンプリングから制約付き一致問題への還元により、最悪ケースにおいて境界がタイトであることが示され、戦略の最適性が確立された。
• 分析により、追加の構造や仮定があっても、一般には $2\delta/(1+\delta)$ の境界を改善できないことが明らかになった。
• 論文はリヴェストの最近の問いに答え、相関サンプリングの文脈において境界のタイトさを確認した。