[論文レビュー] HOGWILD!-Gibbs can be PanAccurate

Constantinos Daskalakis, Nishanth Dikkala+1 more|arXiv (Cornell University)|Nov 26, 2018

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、Dobrushinの条件のもとで、HOGWILD!-Gibbs（非同期Gibbsサンプリング手法）が、グラフィカルモデルにおけるすべての変数の多項式関数の期待値を正確に推定できることを示している。同期的および非同期的サンプラーを組み合わせることで、それらの多変量サンプル間の期待ハミング距離が変数の数に対して対数的にしか増加しないことを証明し、二次関数に対してはバイアスの境界が $ O( au \log n) $ にまで改善され、従来の $ O(n) $ の境界と比べて顕著な向上を達成した。

ABSTRACT

Asynchronous Gibbs sampling has been recently shown to be fast-mixing and an accurate method for estimating probabilities of events on a small number of variables of a graphical model satisfying Dobrushin's condition~\cite{DeSaOR16}. We investigate whether it can be used to accurately estimate expectations of functions of {\em all the variables} of the model. Under the same condition, we show that the synchronous (sequential) and asynchronous Gibbs samplers can be coupled so that the expected Hamming distance between their (multivariate) samples remains bounded by $O(τ\log n),$ where $n$ is the number of variables in the graphical model, and $τ$ is a measure of the asynchronicity. A similar bound holds for any constant power of the Hamming distance. Hence, the expectation of any function that is Lipschitz with respect to a power of the Hamming distance, can be estimated with a bias that grows logarithmically in $n$. Going beyond Lipschitz functions, we consider the bias arising from asynchronicity in estimating the expectation of polynomial functions of all variables in the model. Using recent concentration of measure results, we show that the bias introduced by the asynchronicity is of smaller order than the standard deviation of the function value already present in the true model. We perform experiments on a multi-processor machine to empirically illustrate our theoretical findings.

研究の動機と目的

• グラフィカルモデルにおけるすべての変数の関数の期待値を、小さな部分集合に限らず正確に推定できるかどうかを調査すること。
• 特に多項式関数を対象に、すべての変数の関数を推定する際の非同期Gibbsサンプリングによるバイアスを分析すること。
• 濃度の測度とカップリング技術を活用して、従来のリプシッツに基づく誤差境界を改善すること。
• Curie-Weiss型およびグリッド型イジングモデルを用いた実験を通じて、理論的に導出されたバイアス境界を検証すること。

提案手法

• 同期的および非同期的Gibbsサンプラーをカップリングし、それらの多変量サンプル間の期待ハミング距離を制限すること。
• 期待ハミング距離に $ O(\tau \log n) $ の境界を導出する。ここで $ \tau $ は平均的競合度、$ n $ は変数の数を表す。
• ハミング距離の $ d $ 乗にまで境界を拡張し、$ \mathbb{E}[\text{Hamming}^d] \leq C(d,\tau) \log^d n $ を得る。
• 濃度の測度の結果（例：[DDK17, GLP17, GSS18]）を適用し、非同期性に起因するバイアスが、真のモデルにおける関数の固有の標準偏差よりも小さいことを示す。
• 定理4および定理6を用いて、逐次的および非同期的サンプラー間の次数 $ d $ の多項式関数の期待値の差を制限する。
• 4×10コアのマシンを用いた実験を通じて、理論的予測を検証する。ここで、$ \alpha = 0.5 $ のCurie-Weiss型およびグリッド型イジングモデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 Dobrushinの条件のもとで、HOGWILD!-Gibbsはグラフィカルモデルにおけるすべての変数の関数の期待値を正確に推定できるか？
• RQ2 すべての変数の多項式関数を推定する際、非同期性によって生じるバイアスは、関数のリプシッツ定数に依存せずに境界づけられるか？
• RQ3 同期的および非同期的Gibbsサンプラー間の期待ハミング距離は $ n $ に対して非線形的に増加するか？もしそうならば、その増加度はどのようになるか？
• RQ4 濃度の測度の結果を活用することで、非同期性に起因するバイアスが真のモデルにおける関数の標準偏差に比べて無視できるほど小さいことを示せるか？
• RQ5 イジングモデルにおける実験結果は、二次関数に対して理論的に導出された $ O(\sqrt{n}) $ のバイアス境界を確認できるか？

主な発見

• 同期的および非同期的Gibbsサンプラーのサンプル間の期待ハミング距離は、$ \tau $（平均的競合度）と $ n $（変数の数）を用いて $ O(\tau \log n) $ で抑えられる。
• ハミング距離の $ d $ 乗に関して $ K $-リプシッツな任意の関数について、期待値のバイアスは $ K \cdot C(d,\tau) \log^d n $ で抑えられる。
• イジングモデルにおける二次関数の推定では、従来のリプシッツ解析による $ O(n) $ のバイアスが、本稿の手法では $ O(\sqrt{n}) $ にまで削減され、顕著な改善が達成された。
• 次数 $ d $ の多項式関数の推定バイアスは、$ C_4(d,\alpha,\tau)(n \log n)^{(2d-1)/2} $ で抑えられ、これは真のモデルにおける関数の標準偏差よりも小さい。
• Curie-Weiss型およびグリッド型イジングモデルにおける実験結果から、HOGWILD!の平均値が $ O(\sqrt{n}) $ の誤差範囲内に収まっており、理論的バイアス境界の妥当性が裏付けられた。
• 平均読み込み遅延 $ \tau $ は $ n $ に対して一定のまま維持され、実用的な非同期設定において $ \tau $ が定数であるというモデル仮定が裏付けられた。