[論文レビュー] On Relaxing Determinism in Arithmetic Circuits

Arthur Choi, Adnan Darwiche|arXiv (Cornell University)|Aug 22, 2017

Numerical Methods and Algorithms参考文献 16被引用数 25

ひとこと要約

この論文は、算術回路（ACs）における決定的性の緩和が与える影響を形式的に分析し、決定的でない状態にすることで指数的サイズの回路が可能になる一方で、線形時間のマージナル計算を維持できることを示している。決定的でない状態ではMPE推論が計算不能になることが示され、これは決定的ACsでは計算可能であるのと対照的である。また、分解可能性を強制するだけでMPEの解法が可能であることが証明されており、一般に分解可能回路ではMPEが計算不能であるにもかかわらずである。

ABSTRACT

The past decade has seen a significant interest in learning tractable probabilistic representations. Arithmetic circuits (ACs) were among the first proposed tractable representations, with some subsequent representations being instances of ACs with weaker or stronger properties. In this paper, we provide a formal basis under which variants on ACs can be compared, and where the precise roles and semantics of their various properties can be made more transparent. This allows us to place some recent developments on ACs in a clearer perspective and to also derive new results for ACs. This includes an exponential separation between ACs with and without determinism; completeness and incompleteness results; and tractability results (or lack thereof) when computing most probable explanations (MPEs).

研究の動機と目的

• 決定的性、分解可能性、スムーズネスといった重要な性質の役割と意味を明確にすることで、算術回路の変種を比較するための形式的枠組みを提供すること。
• 算術回路における決定的性の緩和が及える影響について、文献における矛盾する主張や不整合を解消すること。
• 回路サイズと推論タスク（特にMPEとマージナルクエリ）の計算可能性のトレードオフを調査すること。
• 決定的で、分解可能で、スムーズな算術回路における線形時間MPEアルゴリズムの正しさを形式的に証明すること。
• 決定的性を緩和することで生じる新たな不完全性の形式、特にパラメトリック不完全性を特定し、モデルコンパイルに与える影響を明らかにすること。

提案手法

• 算術回路を一般の要因（ベイジアンネットワーク分布に限らない）の表現として再構築することで、より広範な適用可能性を実現すること。
• 一般の要因の文脈において、分解可能性、スムーズネス、決定的性の形式的定義を導入し、それらの個別の役割を明確にすること。
• 還元技術を用いて、決定的でないACsではMPE計算がNP困難であることを示し、これは決定的ACsでは計算可能であるのと対照的である。
• D-MPE（決定的MPE）からD-PR（決定的確率クエリ）への多項式時間還元を用いて、決定的でない分解可能でスムーズなACsではMPE推論が計算不能であることを証明すること。
• 一般に分解可能回路ではMPEが計算不能であるにもかかわらず、分解可能性を強制するだけでMPEの解法が可能であることを証明すること。
• 再構築された算術回路の定義に基づき、分解可能性、決定的性、スムーズネスを満たす回路において、線形時間MPEアルゴリズムの正しさを形式的に証明すること。

実験結果

リサーチクエスチョン

• RQ1 決定的性、分解可能性、スムーズネスが算術回路において果たす正確な役割と意味的含意は何か？
• RQ2 決定的性を緩和すると、マージナル計算のための算術回路のサイズと効率にどのように影響を与えるか？
• RQ3 なぜ非決定的算術回路ではMPE推論が計算不能になるのか、そしてこの問題の計算複雑性は何か？
• RQ4 分解可能性だけが計算可能でないMPE推論を可能にすることができるか、もしそうならその方法は何か？
• RQ5 決定的性を緩和することで生じる不完全性の形式は何か、そしてそれがモデルから回路へのコンパイルにどのように影響を与えるか？

主な発見

• 決定的性を緩和することで、マージナル計算を線形時間で維持しつつ、指数的サイズの算術回路が可能になる。これは、決定的でないACsと決定的ACsとの間で指数的分離が成立することを示している。
• 非決定的算術回路ではMPE推論がNP困難である一方で、決定的回路では計算可能であるため、推論効率の顕著な低下が生じる。
• 一般に分解可能回路ではMPEが計算不能であるにもかかわらず、分解可能性を強制するだけでMPEの解法が可能であることが示され、分解可能性が持つ驚くべき計算パワーが明らかになった。
• 決定的性を緩和すると、すべての有効な要因分解を表現できないパラメトリック不完全性が生じる。これは、ベイジアンネットワークからの回路コンパイルに影響を与える。
• 再構築された算術回路の定義に基づき、決定的で、分解可能で、スムーズなACsにおける線形時間MPEアルゴリズムの正しさが形式的に証明された。
• 分解可能でスムーズなACs向けの多項式時間コンパイルアルゴリズムを用いることで、MPEを多項式時間で計算可能である。これは、P = NPでない限り、このような回路ではMPEが計算不能であることを示唆している。