[論文レビュー] Tensor Network Message Passing

Yijia Wang, Yuwen Ebony Zhang+2 more|arXiv (Cornell University)|May 3, 2023

Quantum many-body systems被引用数 6

ひとこと要約

本稿では、局所的な部分グラフにおけるテンソルネットワーク縮約と長距離相関のメッセージスティング反復を組み合わせたハイブリッドアルゴリズムであるテンソルネットワーク・メッセージスティング（TNMP）を提案する。この手法は、局所的に密で低木幅を持つ構造を有する木構造的システムに対して正確な計算を達成し、イジング模型やスピンガラスにおいて、ベイズ的メッセージスティングおよびループ付きメッセージスティングよりも収束性と精度に優れる。

ABSTRACT

When studying interacting systems, computing their statistical properties is a fundamental problem in various fields such as physics, applied mathematics, and machine learning. However, this task can be quite challenging due to the exponential growth of the state space as the system size increases. Many standard methods have significant weaknesses. For instance, message-passing algorithms can be inaccurate and even fail to converge due to short loops. At the same time, tensor network methods can have exponential computational complexity in large graphs due to long loops. This work proposes a new method called ``tensor network message passing.'' This approach allows us to compute local observables like marginal probabilities and correlations by combining the strengths of tensor networks in contracting small sub-graphs with many short loops and the strengths of message-passing methods in globally sparse graphs, thus addressing the crucial weaknesses of both approaches. Our algorithm is exact for systems that are globally tree-like and locally dense-connected when the dense local graphs have limited treewidth. We have conducted numerical experiments on synthetic and real-world graphs to compute magnetizations of Ising models and spin glasses, to demonstrate the superiority of our approach over standard belief propagation and the recently proposed loopy message-passing algorithm. In addition, we discuss the potential applications of our method in inference problems in networks, combinatorial optimization problems, and decoding problems in quantum error correction.

研究の動機と目的

• 短いループを有するグラフにおいて収束に失敗する従来のメッセージスティングアルゴリズムの限界を克服する。
• 長いループを有する大規模グラフにおいて、テンソルネットワーク手法の指数的計算複雑性を克服する。
• 局所的なテンソル縮約による密な部分グラフの処理と、スパースな接続性を有するグローバルなメッセージスティングを統合した統一フレームワークを構築する。
• 混合トポロジー特徴を有する系における局所的オブザーバブル（磁化や相関など）の正確な計算を可能にする。
• 推論、最適化、量子誤り訂正への応用に適したスケーラブルで収束性を有する手法を提供する。

提案手法

• 各ノード $i$ の周囲に、調整可能な半径 $R$ を用いて制御可能なサイズの局所的テンソルネットワークを定義する。
• $\mathcal{N}_i \setminus \mathcal{N}_l$ 内のテンソルを縮約して、有効なキャビティ・メッセージ $p_{i \to \mathcal{N}_l}$ を計算し、問題をより小さく管理可能な部分グラフに還元する。
• テンソル縮約に基づく反復的メッセージ更新を用い、情報のグラフ全体への伝搬を実現する。この更新は線形系として抽象化される。
• 線形安定性解析を用いて収束性を検討し、一般化されたバックトラッキングを避ける作用素と関連付ける。
• 任意のテンソルネットワーク縮約技術を活用し、システム全体の木幅ではなく、局所的グラフの木幅に比例した計算複雑性を達成する。
• 一元的なフレームワーク内で、局所的正確性（テンソル縮約による）とグローバルな反復的改善（メッセージスティングによる）を統合する。

Figure 1: Pictorial illustration of belief propagation (BP) (a), tensor network contraction (b), and tensor network message passing (TNMP) (c) for computing the marginal probability of node $i$ in an Ising model on a graph. In (b), (c), and (d), circles and squares are tensors converted from the Isi

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークとメッセージスティングをハイブリッドに組み合わせた手法が、局所的に密で長距離相関を有する系において正確な結果を得られるか。
• RQ2 局所的近傍 $\mathcal{N}_i$ のサイズがアルゴリズムの収束性と精度に与える影響は何か。
• RQ3 短いループと複雑なエネルギー・ランドスケープを有する系において、TNMPは標準的なベイズ的メッセージスティングおよびループ付きメッセージスティングを上回るか。
• RQ4 近傍グラフの木幅とTNMPの計算複雑性との関係は何か。
• RQ5 TNMPはエドワーズ＝アンドリュース・スピンガラスのような実世界のネットワークや複雑なモデルに効果的に適用可能か。

主な発見

• TNMPは、局所的に密で低木幅の部分グラフを有するグローバルに木構造的な系において正確な計算を達成する。
• 16×16のエドワーズ＝アンドリュース・スピンガラスモデルにおいて、TNMPはベイズ的メッセージスティングおよび一般化されたベイズ的メッセージスティングよりも広い範囲の逆温度 $\beta$ で収束する。
• 実世界のバス電力システムネットワークでは、$R=5$ のTNMPが正確な結果とほぼ同一の磁化推定値を達成し、近傍サイズが増加するにつれて誤差が減少する。
• 近傍半径 $R$ を増加させることで境界相関が低減され、収束性が向上し、低温域でも反復回数が減少する。
• 数値実験により、TNMPは合成的および実世界のグラフにおいて、ベイズ的メッセージスティングおよびMCMCよりも精度と収束速度に優れる。
• 本手法は、推論、組合せ最適化、量子誤り訂正デコードへの応用において強く有望な可能性を示している。

Figure 2: ( T op): Error of magnetizations $E=\frac{1}{n}\sqrt{\sum_{i=1}^{n}{(M_{i}-M^{\mathrm{exact}}_{i})^{2}}},$ given by various methods for a ferromagnetic Ising model on a synthetic graph (illustrated in the inset) generated using the model of [ 29 ] . The graph has $n=1000$ nodes and contain