[論文レビュー] What can be sampled locally?

Weiming Feng, Yuxin Sun+1 more|arXiv (Cornell University)|Feb 1, 2017

Markov Chains and Monte Carlo Methods参考文献 49被引用数 5

ひとこと要約

本稿は、局所的に定義された連携分布（Markov確率場（MRFs）およびGibbs分布としてモデル化）が、分散 $Δ$-LOCAL モデルにおいて、どのように効率的にサンプリングできるかを調査する。2つの分散サンプリングアルゴリズム、LubyGlauber および LocalMetropolis を提案し、それぞれ $O(Δ\log n)$ および $O(\log n)$ の混合時間を持つことを示した。また、最大次数 $\Delta \geq 6$ を持つグラフにおいて、局所的サンプリングと局所的構築の間に強い分離が生じることを示す、タイトな $\Theta(\log n)$ の下界を確立した。

ABSTRACT

The local computation of Linial [FOCS'87] and Naor and Stockmeyer [STOC'93] concerns with the question of whether a locally definable distributed computing problem can be solved locally: for a given local CSP whether a CSP solution can be constructed by a distributed algorithm using local information. In this paper, we consider the problem of sampling a uniform CSP solution by distributed algorithms, and ask whether a locally definable joint distribution can be sampled from locally. More broadly, we consider sampling from Gibbs distributions induced by weighted local CSPs in the LOCAL model. We give two Markov chain based distributed algorithms which we believe to represent two fundamental approaches for sampling from Gibbs distributions via distributed algorithms. The first algorithm generically parallelizes the single-site sequential Markov chain by iteratively updating a random independent set of variables in parallel, and achieves an $O(Δ\log n)$ time upper bound in the LOCAL model, where $Δ$ is the maximum degree, when the Dobrushin's condition for the Gibbs distribution is satisfied. The second algorithm is a novel parallel Markov chain which proposes to update all variables simultaneously yet still guarantees to converge correctly with no bias. It surprisingly parallelizes an intrinsically sequential process: stabilizing to a joint distribution with massive local dependencies, and may achieve an optimal $O(\log n)$ time upper bound independent of the maximum degree $Δ$ under a stronger mixing condition. We also show a strong $Ω(diam)$ lower bound for sampling independent set in graphs with maximum degree $Δ\ge 6$. This lower bound holds even when every node is aware of the graph. This gives a strong separation between sampling and constructing locally checkable labelings.

研究の動機と目的

• 制約充足問題（CSPs）から生じるような、局所的に定義された連携分布が、分散ネットワークにおける局所的情報のみを用いて、どのように効率的にサンプリングできるかを明らかにすること。
• 特に、局所的計算による妥当解の生成と比較して、$Δ$-LOCAL モデルにおける分散サンプリングの根本的限界を解明すること。
• 分散環境下でのMRFおよびGibbs分布からのサンプリングに、タイトな時間計算量バインディングを確立すること。
• 同じ解空間から一様または重み付き解をサンプリングするのと、局所的に検証可能なラベル付け（LCL）を構築するのとの間の複雑さの明確な分離を示すこと。
• 解空間における長距離相関の役割と、それがサンプリングアルゴリズムの局所性に与える影響を分析すること。

提案手法

• 局所的要因（辺および頂点上）の積に比例する確率を持つ、Markov確率場（MRFs）およびGibbs分布を用いて、局所的に定義された連携分布をモデル化する。
• Dobrushinの条件の下で $O(Δ\log n)$ の混合時間を持つ、局所的条件分布に基づく頂点状態の更新を行う、分散Glauberダイナミクスに基づくLubyGlauberアルゴリズムを提案する。
• 局所的提案と受容ルールを用いる、新しい分散Metropolis-HastingsサンプラーであるLocalMetropolisを導入し、より強い混合条件の下で $O(\log n)$ の混合時間を持つことを示した。
• カップリング技術およびパスカップリングを用いて混合時間バインディングを証明し、基礎となるグラフ構造およびMRFにおける依存の減衰を活用した。
• 最大カット問題およびハードコア分布に基づく困難なインスタンスを用いて、正確なサンプリングに必要なラウンド数に対する $\Omega(\mathrm{diam})$ の下界を確立した。
• Hammersley-Clifford定理を用いて、空間的マルコフモデルにおけるGibbs分布の普遍性を正当化し、このフレームワークが広範な局所的定義の分布クラスをカバーできることを保証した。

実験結果

リサーチクエスチョン

• RQ1 $Δ$-LOCAL モデルにおいて、局所的に定義されたCSPの均一または重み付き解を、局所的情報のみを用いて、どのように効率的にサンプリングできるか。
• RQ2 MRF上のGibbs分布からの分散サンプリングの最適時間計算量は何か？ そして、単純な局所的更新ルールで達成可能か？
• RQ3 同じ解空間から妥当解（例：最大独立集合）を構築するのと、一様分布から解をサンプリングするのとの間には、根本的な複雑さのギャップがあるか？
• RQ4 解空間における長距離相関は、サンプリングアルゴリズムの局所性にどのように影響するか？ また、情報理論的またはカップリングに基づく議論で、これを定量化できるか？
• RQ5 Gibbs分布からのサンプリングに、真の分布との全 Variation 距離が小さい状態で到達するための、分散アルゴリズムが要するラウンド数のタイトな下界は何か？

主な発見

• Dobrushinの条件の下で、LubyGlauberアルゴリズムは $O(Δ\log n)$ の混合時間を持つ。これは、多くの局所的に定義された分布が、頂点数に対して多対数時間でサンプリング可能であることを示している。
• より強い混合条件の下で、LocalMetropolisアルゴリズムは最適な $O(\log n)$ の混合時間を持つ。これは、解空間に十分な局所的混合性がある場合、効率的な局所的サンプリングが可能であることを示唆している。
• 広範なMRFクラスに対するタイトな $\Theta(\log n)$ の下界を確立した。これは、一般のグラフにおいて、定数精度のサンプリングに $O(\log n)$ ラウンドが必要かつ十分であることを示している。
• 最大次数 $\Delta \geq 6$ のグラフにおいて、非一意性領域で重み付き独立集合をサンプリングする際、$\Omega(\mathrm{diam})$ の下界を証明した。これは、サンプリングが構築よりも根本的に難しいことを示している。
• 本稿では、局所的サンプリングと局所的構築の間に強い分離を示した。最大独立集合は $O(\log^* n)$ ラウンドで構築可能であるが、独立集合上の一様分布からのサンプリングには $\Omega(\mathrm{diam})$ ラウンドが必要であり、すべての頂点がグラフ全体の構造を把握している場合でさえも同様である。
• サンプリングの困難さは、知識の欠如に起因するのではなく、真の分布に内在する長距離相関に起因する。このような相関は、サブ線形ラウンドでは局所的アルゴリズムでは捉えきれない。