[論文レビュー] Non-Count Symmetries in Boolean & Multi-Valued Prob. Graphical Models

Ankit Anand, Ritesh Noothigattu+1 more|arXiv (Cornell University)|Apr 10, 2017

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

本稿では、ブールおよび多値確率的グラフィカルモデルにおける伝統的なカウント対称性を超えて、持ち上げられた推論を拡張するため、変数値（VV）ペア対称性を導入する。著者らは、対称性計算を変数から変数値（VV）ペアに再定義することで、非カウントおよび非等基数対称性を扱える VV-オービタルMCMC および NEC-オービタルMCMC を開発した。これらは、Curriculum や Ring といった実世界の分野におけるMCMC推論で顕著な計算高速化を達成した。

ABSTRACT

Lifted inference algorithms commonly exploit symmetries in a probabilistic graphical model (PGM) for efficient inference. However, existing algorithms for Boolean-valued domains can identify only those pairs of states as symmetric, in which the number of ones and zeros match exactly (count symmetries). Moreover, algorithms for lifted inference in multi-valued domains also compute a multi-valued extension of count symmetries only. These algorithms miss many symmetries in a domain. In this paper, we present first algorithms to compute non-count symmetries in both Boolean-valued and multi-valued domains. Our methods can also find symmetries between multi-valued variables that have different domain cardinalities. The key insight in the algorithms is that they change the unit of symmetry computation from a variable to a variable-value (VV) pair. Our experiments find that exploiting these symmetries in MCMC can obtain substantial computational gains over existing algorithms.

研究の動機と目的

• ブールおよび多値ドメインにおける既存の持ち上げられた推論アルゴリズムがカウント対称性しか検出できないという制限に対処すること。
• 値のカウントが異なる対称状態間の非カウント対称性を同定するための新しいフレームワークを構築すること。
• 異なるドメイン基数を持つ変数間の非等基数対称性を処理できるようにフレームワークを拡張すること。
• 非等基数対称性を活用するためのオービタルMCMCのメトロポリス・ハスティングス拡張を設計すること。
• これらの新しい対称性クラスがMCMC推論において顕著な計算的利得をもたらすことを実証的に検証すること。

提案手法

• 対称性計算を変数から変数値（VV）ペアに再定義し、異なる変数の異なる値間の交換を可能にする。
• VV自己同型群を、VVペアに作用する置換群として定義し、従来の変数対称性群を一般化する。
• 構築されたVV相互作用グラフ上でグラフ同型性技術を用いてVV自己同型群を計算するアルゴリズムを開発する。
• 異なる基数の変数からのVVペアが対称であることを許容することで、非等基数対称性の検出をフレームワークに統合する。
• 非等基数対称性を活用するためのオービタルMCMCのメトロポリス・ハスティングス変種、NEC-オービタルMCMCを設計する。
• 軌道に基づく状態クラスタリングを用いて冗長計算を低減し、MCMCにおける対称性に配慮した提案分布を適用する。

実験結果

リサーチクエスチョン

• RQ1 ブールおよび多値PGMにおいて、正確な値カウントの一致を超えて対称性を同定できるか？
• RQ2 変数ではなく、変数値（VV）ペアに対して対称性を定義し、計算できるか？
• RQ3 異なるドメインサイズを持つ変数間の非等基数対称性—すなわち、異なる基数を持つ変数間の対称性—は検出可能で、活用可能か？
• RQ4 これらの新しい対称性クラスを活用することで、MCMC推論が顕著に高速化できるか？
• RQ5 提案されたアルゴリズムは、オービタルMCMC やヴァナイルGibbsサンプリングといった既存のベースラインと比較して、実際の応用でどのように性能を発揮するか？

主な発見

• メッセージ伝達ドメインでは、カウント対称性が不十分であるため、VV-オービタルMCMCはオービタルMCMCおよびヴァナイルGibbsサンプリングに比べて顕著な高速化を達成した。
• 非等基数対称性が存在するCurriculumドメインでは、NEC-オービタルMCMCがバイナリ化されたオービタルMCMCおよびヴァナイルGibbsサンプリングを上回った。
• 対称性検出のオーバーヘッドは最小限であり、Curriculumドメインでは0.250秒、Ringドメインでは0.009秒であったため、スケーラブルである。
• 非カウント対称性のないドメインでは、提案されたアルゴリズムはバイナリ化されたオービタルMCMCとほぼ同等の性能を示し、顕著なオーバーヘッドがないことが示された。
• 結果から、非カウントおよび非等基数対称性は実世界のモデルに広く存在し、推論の高速化に効果的に活用可能であることが明らかになった。
• このフレームワークは、これまで認識されていなかったより広範な対称性クラスを可能にし、持ち上げられた推論の適用範囲を著しく拡大した。