[論文レビュー] Efficient Contraction of Large Tensor Networks for Weighted Model Counting through Graph Decompositions

Jeffrey M. Dudek, Leonardo Dueñas‐Osorio+1 more|arXiv (Cornell University)|Aug 12, 2019

Tensor decomposition and applications参考文献 56被引用数 9

ひとこと要約

この論文では、特に木分解およびカービング分解を用いて、制約付きカウントのための大規模テンソルネットワークを効率的に縮約する、重み付きモデルカウンタであるTensorOrderを提案する。ヒューリスティックな木分解ソルバを用いて低メモリかつ高効率な縮約順序を特定することで、著者らは2つの手法を導入する：一般のテンソルネットワーク向けのライングラフ（LG）法と、高ランクで構造化されたテンソル向けのファクターツリー（FT）法。主な貢献は、未重み付きベンチマークでは既存のカウンタを上回り、重み付きベンチマークでは仮想最良ソルバを21%改善する実用的で高性能なツールの構築である。

ABSTRACT

Constrained counting is a fundamental problem in artificial intelligence. A promising new algebraic approach to constrained counting makes use of tensor networks, following a reduction from constrained counting to the problem of tensor-network contraction. Contracting a tensor network efficiently requires determining an efficient order to contract the tensors inside the network, which is itself a difficult problem. In this work, we apply graph decompositions to find contraction orders for tensor networks. We prove that finding an efficient contraction order for a tensor network is equivalent to the well-known problem of finding an optimal carving decomposition. Thus memory-optimal contraction orders for planar tensor networks can be found in cubic time. We show that tree decompositions can be used both to find carving decompositions and to factor tensor networks with high-rank, structured tensors. We implement these algorithms on top of state-of-the-art solvers for tree decompositions and show empirically that the resulting weighted model counter is quite effective and useful as part of a portfolio of counters.

研究の動機と目的

• 重み付きモデルカウンティングにおける大規模テンソルネットワークの効率的縮約という課題に取り組む。これは、幅広いAIアプリケーションに及ぶ#P完全問題である。
• 網羅的な縮約順序探索のスケーラビリティの限界を、ヒューリスティックなグラフ分解技術を活用することで克服する。
• 高ランクで構造化されたテンソル（実世界の制約で一般的）の効果的取り扱いを、新しい事前処理因子分解法により可能にする。
• 最新のテンソルおよび分解ライブラリと統合された実用的で高性能なモデルカウンタを開発する。産業スケールでの利用を想定する。
• テンソルネットワークに基づくカウンティングが、モデルカウンタのパフォーマンスパフォルマンスパックとして競争力を持つことを実証する。

提案手法

• 木分解を適用して、直接的にメモリ効率の良いテンソル縮約順序に対応する低幅のカービング分解を導出する。
• ライングラフ（LG）法を実装し、テンソルネットワークのライングラフを木分解に変換することで、構造に基づいた縮約順序選択を可能にする。
• 高ランクで構造化されたテンソル（例：XORやちょうど1つの制約から生じるテンソル）を、階層的タッカー表現を用いて事前因子分解することで、収縮を効果的に行うファクターツリー（FT）法を導入する。
• LGおよびFTを統合したTensorOrderを新たに開発。ヒューリスティックな木分解ソルバ（htd, Flow, Tamaki）と高性能テンソルライブラリを組み合わせた重み付きモデルカウンタである。
• オンラインでインクリメンタルに動作する木分解ソルバを用いて、動的かつ継続的に縮約木を生成することで、早期終了とパフォーマンス監視を可能にする。
• 実世界および合成ベンチマークを用いて、縮約の質を最大ランクと実行時間の両面から評価する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックなグラフ分解を用いて、重み付きモデルカウンティングにおける大規模テンソルネットワークの効率的縮約順序を導出することは可能か？
• RQ2 木分解およびカービング分解は、テンソルネットワークの縮約中にどれほどメモリ使用量を削減できるか？
• RQ3 構造に配慮した事前処理手法（ファクターツリー）は、標準的なテンソル手法が処理できない高ランク・構造化テンソルの効果的縮約を可能にするか？
• RQ4 提案されたテンソルベースのモデルカウンタ（TensorOrder）は、標準的な重み付きモデルカウンティングベンチマークにおいて、最先端の正確なカウンターよりも優れたパフォーマンスを示すか？
• RQ5 異なるヒューリスティック木分解ソルバ（htd, Flow, Tamaki）は、全体のモデルカウンティングパイプラインの効率性とスケーラビリティにどのような影響を与えるか？

主な発見

• LG法を用いたTensorOrderは、未重み付きベンチマークにおいて、他のすべての正確なモデルカウンターやテンソルベース手法を上回り、時間制限内により多くのインスタンスを解ける。
• FT法は、標準的な重み付きモデルカウンティングベンチマークの21%において仮想最良ソルバを改善し、構造的で高ランクのテンソルに対する有効性を示している。
• FT+TamakiおよびFT+Flowは、確率的推論ベンチマークで優れたパフォーマンスを発揮する：FT+Flowは最も速く低最大ランクの縮約木を発見し、FT+Tamakiは1000秒以内に最も多くのベンチマークを解消する。
• 1091件の確率的推論ベンチマークのセットにおいて、因子分解を行わないテンソルベース手法（例：LG, greedy, metis）は1000秒以内にたった1件のベンチマークしか解けず、FTの因子分解の必要性を強調している。
• ライングラフ法は一般のテンソルネットワークに対して有効である一方、ファクターツリー法はXORやちょうど1つの節など、複雑な構造的制約の処理を可能にする独自の能力を持つ。
• ヒューリスティックな木分解ツールと高性能テンソルライブラリの統合により、スケーラブルで実用的なモデルカウンタが実現され、パフォーマンスパックの文脈でも利用可能である。