[論文レビュー] Lower bounds for testing graphical models: colorings and antiferromagnetic Ising models

Ivona Bezáková, Antonio Blanca+3 more|arXiv (Cornell University)|Jan 22, 2019

Machine Learning and Algorithms参考文献 53被引用数 4

ひとこと要約

本稿は、反強磁性イジング模型および適切な彩色に関する同一性検定の計算的下界を確立し、同一性検定が反強磁性イジング模型および適切な彩色において構造学習と同程度に難しいことを示している。|β|d = ω(log n) の条件下では、同一性検定は RP=NP でない限り NP 困難であり、#BIS 仮定のもとでは彩色に対しても同様の困難性が成立する。これは、これらの設定において構造学習よりも顕著な計算的利点がないことを示している。

ABSTRACT

We study the identity testing problem in the context of spin systems or undirected graphical models, where it takes the following form: given the parameter specification of the model $M$ and a sampling oracle for the distribution $μ_{\hat{M}}$ of an unknown model $\hat{M}$, can we efficiently determine if the two models $M$ and $\hat{M}$ are the same? We consider identity testing for both soft-constraint and hard-constraint systems. In particular, we prove hardness results in two prototypical cases, the Ising model and proper colorings, and explore whether identity testing is any easier than structure learning. For the ferromagnetic (attractive) Ising model, Daskalakis et al. (2018) presented a polynomial time algorithm for identity testing. We prove hardness results in the antiferromagnetic (repulsive) setting in the same regime of parameters where structure learning is known to require a super-polynomial number of samples. In particular, for $n$-vertex graphs of maximum degree $d$, we prove that if $|β| d = ω(\log{n})$ (where $β$ is the inverse temperature parameter), then there is no polynomial running time identity testing algorithm unless $RP=NP$. We also establish computational lower bounds for a broader set of parameters under the (randomized) exponential time hypothesis. Our proofs utilize insights into the design of gadgets using random graphs in recent works concerning the hardness of approximate counting by Sly (2010). In the hard-constraint setting, we present hardness results for identity testing for proper colorings. Our results are based on the presumed hardness of #BIS, the problem of (approximately) counting independent sets in bipartite graphs. In particular, we prove that identity testing is hard in the same range of parameters where structure learning is known to be hard.

研究の動機と目的

• グラフィカルモデルにおける同一性検定が構造学習よりも計算的に容易であるかどうかを調査すること。
• 構造学習が困難であることが知られているパラメータ領域において、反強磁性イジング模型における同一性検定の困難性を確立すること。
• #BIS 仮定のもとで、硬制約系、特に適切な 3 色彩色へその困難性を拡張すること。
• 真のモデルのパラメータが構造学習に超多項式的なサンプルを必要とする領域にあろうと、同一性検定が依然として困難であるかどうかを特定すること。
• 逆温度 β およびグラフの次数 d が同一性検定の複雑さに与える役割を明らかにすること。

提案手法

• Sly (2010) のインスピレーションを受けて、ランダムグラフに基づくガジェットを用いて、反強磁性イジング模型における同一性検定の計算的下界を証明する。
• 分配関数と全 Variation 距離を用いて、2 つのモデルの分布を比較し、構成数による境界を導出する。
• 異なるパラメータ設定における有効な構成数を分析するための、段階ベクトルを備えたグラフ族を構築する。
• 対称性と既知の適切な 3 色彩色の数に関する結果を活用し、特定の段階パターンを持つ彩色の集合 |Ω^A| および |Ω^B| の境界を導出する。
• ランダム化指数時間仮説を用いて、NP 困難性領域を超えた困難性結果を拡張する。
• サンプリングオракルおよび段階ベクトルサンプリング技術を用いて、彩色モデルにおける分布をシミュレートし、同一性をテストする。

実験結果

リサーチクエスチョン

• RQ1 反強磁性イジング模型における同一性検定は、構造学習よりも計算的に容易であろうか？
• RQ2 反強磁性イジング模型における同一性検定が NP 困難であるパラメータ領域は何か？
• RQ3 #BIS 仮定のもとで、適切な彩色における同一性検定の困難性は、構造学習の困難性と一致するか？
• RQ4 |β|d = ω(log n) のとき、構造学習に超多項式的なサンプルが必要とされる領域であっても、同一性検定が多項式時間で解けるか？
• RQ5 逆温度 β および最大次数 d は、同一性検定の複雑さにどのような役割を果たすか？

主な発見

• |β|d = ω(log n} のとき、反強磁性イジング模型における同一性検定は RP=NP でない限り NP 困難であり、これは構造学習に超多項式的なサンプルが必要となるパrameter領域と一致する。
• 適切な 3 色彩色において、#BIS 仮定のもとで、同一性検定は構造学習が困難であるのと同じパラメータ領域で困難である。
• 2 つのモデルの分布間の全 Variation 距離は、分配関数比の関数によって上限され、構成数による境界を用いて困難性の証明が可能になる。
• Z₃(H) < 2^{ℓ/k} - 2 であるとき、全 Variation 距離は 2((Z₃(H)+2)/2^{ℓ/k})^k 未満であり、Z₃(H) が小さい場合には指数的に減少する。
• Z₃(H) ≥ 2^{ℓ/k} - 2 であるとき、全 Variation 距離は 1/2(1 - ((Z₃(B)+2)/(Z₃(H)+2))^k) によって下限され、Z₃(H) が大きい場合には非自明な分離が生じる。
• 彩色モデルのサンプリングアルゴリズムは O(n) 時間で実行され、段階ベクトルサンプリング法によりオラクルモデル下でターゲット分布の効率的シミュレーションが可能になる。