[논문 리뷰] Tensor Network Message Passing

Yijia Wang, Yuwen Ebony Zhang외 2명|arXiv (Cornell University)|2023. 05. 03.

Quantum many-body systems인용 수 6

한 줄 요약

이 논문은 국소적 부분그래프에 대한 텐서 네트워크 수축과 장거리 상관관계에 대한 메시지 전파 반복을 조합하는 하이브리드 알고리즘인 텐서 네트워크 메시지 전파(TNMP)를 제안한다. 이는 국소적으로 조밀하고 낮은 트리폭을 가진 구조를 가진 나무꼴 시스템에서 정확한 계산을 가능하게 하며, 이징 모델과 스핀 거친에서 기존의 신뢰도 기반 메시지 전파와 순환 메시지 전파보다 수렴성과 정확도에서 뛰어나다.

ABSTRACT

When studying interacting systems, computing their statistical properties is a fundamental problem in various fields such as physics, applied mathematics, and machine learning. However, this task can be quite challenging due to the exponential growth of the state space as the system size increases. Many standard methods have significant weaknesses. For instance, message-passing algorithms can be inaccurate and even fail to converge due to short loops. At the same time, tensor network methods can have exponential computational complexity in large graphs due to long loops. This work proposes a new method called ``tensor network message passing.'' This approach allows us to compute local observables like marginal probabilities and correlations by combining the strengths of tensor networks in contracting small sub-graphs with many short loops and the strengths of message-passing methods in globally sparse graphs, thus addressing the crucial weaknesses of both approaches. Our algorithm is exact for systems that are globally tree-like and locally dense-connected when the dense local graphs have limited treewidth. We have conducted numerical experiments on synthetic and real-world graphs to compute magnetizations of Ising models and spin glasses, to demonstrate the superiority of our approach over standard belief propagation and the recently proposed loopy message-passing algorithm. In addition, we discuss the potential applications of our method in inference problems in networks, combinatorial optimization problems, and decoding problems in quantum error correction.

연구 동기 및 목표

• 짧은 고리가 존재하는 그래프에서 기존 메시지 전파 알고리즘의 수렴 실패 문제를 해결한다.
• 긴 고리가 존재하는 큰 그래프에서 텐서 네트워크 방법의 지수적 복잡도 문제를 극복한다.
• 국소적 텐서 수축을 통한 조밀한 부분그래프 처리와 전역적 메시지 전파를 통한 희소 연결 처리를 융합한 통합 프레임워크를 개발한다.
• 혼합된 위상적 특성을 가진 시스템에서 국소 관측량(예: 자화도 및 상관관계)의 정확한 계산을 가능하게 한다.
• 추론, 최적화, 양자 오류 정정 응용 분야에 대해 확장 가능하고 수렴 보장이 되는 방법을 제공한다.

제안 방법

• 각 노드 $i$ 둘레의 이웃 구조 $\mathcal{N}_i$ 를 정의하며, 국소적 텐서 네트워크 크기를 제어하는 가변 반경 $R$ 을 사용한다.
• $\mathcal{N}_i \setminus \mathcal{N}_l$ 내의 텐서를 수축하여 효과적인 공백 메시지 $p_{i \to \mathcal{N}_l}$ 를 계산함으로써 문제를 더 작고 다룰 수 있는 부분그래프로 축소한다.
• 텐서 수축을 기반으로 한 반복적 메시지 업데이트를 사용하여 정보를 그래프 전역에 전파한다. 이는 선형 시스템으로 추상화된다.
• 수렴성을 분석하기 위해 선형 안정성 분석을 적용하며, 이는 일반화된 백트래킹이 아닌 연산자와 연결된다.
• 전체 시스템의 트리폭이 아닌 이웃 그래프의 트리폭에 따라 복잡도가 증가하는 임의의 텐서 네트워크 수축 기법을 활용한다.
• 국소 정확성(텐서 수축을 통한 정확한 계산)과 전역 반복 보정(메시지 전파를 통한 개선)을 하나의 프레임워크 안에서 통합한다.

Figure 1: Pictorial illustration of belief propagation (BP) (a), tensor network contraction (b), and tensor network message passing (TNMP) (c) for computing the marginal probability of node $i$ in an Ising model on a graph. In (b), (c), and (d), circles and squares are tensors converted from the Isi

실험 결과

연구 질문

• RQ1 텐서 네트워크와 메시지 전파를 융합한 하이브리드 방법이 국소적으로 조밀하고 장거리 상관관계가 존재하는 시스템에서 정확한 결과를 도출할 수 있는가?
• RQ2 국소 이웃 구조 $\mathcal{N}_i$ 의 크기가 알고리즘의 수렴성과 정확도에 미치는 영향은 어떠한가?
• RQ3 짧은 고리와 복잡한 에너지 지형을 가진 시스템에서 TNMP는 표준 신뢰도 기반 메시지 전파와 순환 메시지 전파보다 우수한가?
• RQ4 이웃 그래프의 트리폭과 TNMP의 계산 복잡도 사이의 관계는 어떠한가?
• RQ5 TNMP는 에드워즈-앤티어 스핀 거친과 같은 실제 네트워크와 복잡한 모델에 효과적으로 적용될 수 있는가?

주요 결과

• TNMP는 국소적으로 조밀하고 낮은 트리폭을 가진 부분그래프를 가진 전반적으로 나무꼴 구조의 시스템에서 정확한 계산을 달성한다.
• 16×16 에드워즈-앤티어 스핀 거친 모델에서 TNMP는 신뢰도 기반 메시지 전파와 일반화된 신뢰도 기반 메시지 전파보다 더 넓은 범위의 역온도 $\beta$ 에서 수렴한다.
• 실제 도시 버스 전력 시스템 네트워크에서는 $R=5$ 일 때 TNMP가 정확한 결과와 거의 구분되지 않는 자화도 추정치를 도출하며, 이웃 구조의 크기가 커질수록 오차가 감소한다.
• 이웃 반경 $R$ 을 증가시킬수록 경계 상관관계가 감소하고 수렴성이 향상되어 저온에서 반복 횟수를 줄일 수 있다.
• 수치 실험 결과, TNMP는 합성 및 실제 네트워크에서 기존의 신뢰도 기반 메시지 전파와 MCMC보다 정확도와 수렴 속도에서 뛰어나다.
• 이 방법은 추론, 조합 최적화, 양자 오류 정정 디코딩 등 다양한 분야에 강력한 잠재력을 보여준다.

Figure 2: ( T op): Error of magnetizations $E=\frac{1}{n}\sqrt{\sum_{i=1}^{n}{(M_{i}-M^{\mathrm{exact}}_{i})^{2}}},$ given by various methods for a ferromagnetic Ising model on a synthetic graph (illustrated in the inset) generated using the model of [ 29 ] . The graph has $n=1000$ nodes and contain