[論文レビュー] Distributed Simulation and Distributed Inference

Jayadev Acharya, Clément L. Canonne+1 more|arXiv (Cornell University)|Apr 19, 2018

Markov Chains and Monte Carlo Methods参考文献 51被引用数 15

ひとこと要約

本稿は通信制約下における分散推論を研究しており、n人のプレイヤーが未知のk値分布からの1サンプルを保持し、リファリーにℓビットを通信する。O(k/2^ℓ)の期待サンプル数を用いて拒否採択サンプリングを用いて未知分布からのサンプルをシミュレートする「シミュレート・アンド・インフェア」戦略を導入し、学習および同一性適合検定において最適なサンプル複雑性を達成する。同一性適合検定に関しては、O(k/√(2^ℓ)/ε²)のサンプル数を要するパブリック・コインプロトコルを提示し、定数要因を除いて最適である。

ABSTRACT

Independent samples from an unknown probability distribution $\bf p$ on a domain of size $k$ are distributed across $n$ players, with each player holding one sample. Each player can communicate $\ell$ bits to a central referee in a simultaneous message passing model of communication to help the referee infer a property of the unknown $\bf p$. What is the least number of players for inference required in the communication-starved setting of $\ell

研究の動機と目的

• 各プレイヤーがlog k未満のℓビットのみ通信する場合に、分散推論を実行するために必要な最小プレイヤー数を特定すること。
• 通信制約下における「シミュレート・アンド・インフェア」戦略を形式化し、分析すること。
• 効率的な分散推論のためには分散シミュレーションが必要かどうかを調査すること。
• プライベート・コインプロトコルのサンプル複雑性の壁を打ち破る最適なパブリック・コインプロトコルを開発すること。
• 通信制約によるχ²距離の収縮を分析することで、サンプル複雑性の下界を確立すること。

提案手法

• ℓ < log kの場合に、O(k/2^ℓ)の期待サンプル数を用いて、ラスベガス型拒否採択サンプリングベースのプロトコルを提案し、未知分布からの1サンプルをシミュレートする。
• 「シミュレート・アンド・インフェア」戦略を適用：標準的な推論アルゴリズムを実行できる十分なサンプルをシミュレートする。
• 共有ランダムネスを活用することで、パブリック・コインプロトコルを用いて同一性適合検定における最適なサンプル複雑性を達成する。
• ラデマッハ・ベクトルにおける二次形式のモーメント生成関数に対するサブガウス型バインドを用いて、χ²距離の収縮を分析する。
• 輸送コスト不等式およびマートンの輸送補題を用いて、ラデマッハ・ベクトルと対称行列の内積のモーメント生成関数をバインドする。
• 通信に起因する行列のフロベニウスノルムを分析することで、シミュレートされた分布と一様分布の間のχ²距離をバインドする。

実験結果

リサーチクエスチョン

• RQ1 各プレイヤーがℓ < log kビットのみ通信する場合に、分散推論を実行するために必要な最小プレイヤー数は何か？
• RQ2 ℓ < log kの場合に、1サンプルの完全なシミュレーションが可能か。不可能である場合、可能な限り高いシミュレーション効率は何か？
• RQ3 通信制約下における分散学習および同一性適合検定において、「シミュレート・アンド・インフェア」戦略は最適か？
• RQ4 パブリック・ランダムネスは、同一性適合検定におけるプライベート・コインプロトコルのサンプル複雑性の壁を打ち破れるか？
• RQ5 パブリック・コイン設定における同一性適合検定のサンプル複雑性の根本的限界は何か？

主な発見

• ℓ < log kの場合、1サンプルの完全なシミュレーションは不可能であるが、ラスベガス型プロトコルによりO(k/2^ℓ)の期待サンプル数を用いて1サンプルをシミュレート可能である。
• 「シミュレート・アンド・インフェア」戦略は、全変動距離でεの精度で未知分布を学習する際、最適なサンプル複雑性Θ(k²/2^ℓε²)を達成する。
• 同一性適合検定において、プライベート・コインプロトコルはO(k³/²/2^ℓε²)のサンプル数を要するが、これは追加リソースなしでは本質的である。
• パブリック・コインプロトコルにより、同一性適合検定でO(k/√(2^ℓ)ε²)のサンプル数を達成でき、これは定数要因を除いて最適である。
• 通信制約により、シミュレートされた分布と一様分布の間のχ²距離が収縮し、この収縮は二次形式のサブガウス型尾部バインドを用いてバインド可能である。
• 下界の証明は、通信に起因する行列のフロベニウスノルムのバインドと、輸送コスト不等式の適用に依存し、タイトなサンプル複雑性の限界を導出する。