[논문 리뷰] Hyper-optimized approximate contraction of tensor networks with arbitrary geometry

Johnnie Gray, Garnet Kin‐Lic Chan|arXiv (Cornell University)|2022. 06. 14.

Elasticity and Material Modeling참고 문헌 75인용 수 4

한 줄 요약

이 논문은 임의의 그래프에 대해 근사 텐서 네트워크 수축을 위한 초최적화 프레임워크를 소개한다. 이 프레임워크는 이원 수축과 특이값 분해 기반의 고리 압축을 포함하는 수축 트리에 대한 반복 최적화를 사용한다. 초최적화 과정에서 메모리 또는 계산 비용을 최소화함으로써, 수작업으로 구성한 알고리즘이나 기존 일반 알고리즘보다 훨씬 낮은 오차와 비용을 달성하며, 과도한 3D 격자와 무작위 정규 그래프를 포함한 대규모 텐서 네트워크의 효율적 시뮬레이션을 가능하게 한다.

ABSTRACT

Tensor network contraction is central to problems ranging from many-body physics to computer science. We describe how to approximate tensor network contraction through bond compression on arbitrary graphs. In particular, we introduce a hyper-optimization over the compression and contraction strategy itself to minimize error and cost. We demonstrate that our protocol outperforms both hand-crafted contraction strategies in the literature as well as recently proposed general contraction algorithms on a variety of synthetic and physical problems on regular lattices and random regular graphs. We further showcase the power of the approach by demonstrating approximate contraction of tensor networks for frustrated three-dimensional lattice partition functions, dimer counting on random regular graphs, and to access the hardness transition of random tensor network models, in graphs with many thousands of tensors.

연구 동기 및 목표

• 일반적인 격자 외의 임의의 그래프 기하 구조에 적용 가능한 근사 텐서 네트워크 수축을 위한 일반 목적의 프레임워크를 개발한다.
• 수축 및 압축 순서에 대한 초최적화를 도입하여 정확한 텐서 네트워크 수축의 지수적 비용을 감소시킨다.
• 지속적으로 발전하는 근사 수축 전략보다 정확도와 효율성을 향상시켜, 과도한 3D 격자와 무작위 텐서 네트워크와 같은 물리적으로 관련된 모델에 특히 유리하다.
• 초최적화 과정에서 비용 함수(메모리 또는 계산 비용)를 최소화할 때 수축 오차도 동시에 감소함을 보여주며, 비용과 정확도 사이의 트레이드오���을 가능하게 한다.
• 무작위 텐서 네트워크에서의 계산 난이도 전이를 탐색하고, 복잡한 텐서 요소가 존재하더라도 근사 수축이 여전히 효과적인 영역를 규명한다.

제안 방법

• 근사 수축을 각 노드가 수축 또는 압축 단계에 해당하는 방향성 있고 순서가 지정된 계산 트리로 표현한다.
• 비용 함수 M(피크 메모리) 또는 C(계산 비용)에 따라 히우리스틱 파rameter θ와 최대 고리 차원 χ를 사용하여 수축 트리를 반복적으로 샘플링하는 초최적화 루프를 적용한다.
• 텐서 간 고리에 대한 특이값 분해(SVD)를 통해 압축을 수행하며, 이 압축 순서와 시점은 트리 구조의 일부로 최적화된다.
• 이 프레임워크는 정규 격자, 무작위 정규 그래프, 피로크로어 및 다이아몬드 격자와 같은 복잡한 3D 기하 구조를 포함한 임의의 그래프 구조를 지원한다.
• 비용 함수를 최소화하도록 조정된 히우리스틱(예: 그리디 알고리즘)을 사용하여 가능한 수축 트리 공간을 탐색하며, 초최적화 과정에서 하이퍼파rameter를 조정한다.
• 이 방법은 무작위 텐서 네트워크(예: [λ,1] 범위의 균일한 요소를 가진)와 물리적 시스템(예: 과도한 격자에서의 분할 함수 및 무작위 그래프에서의 따머 수세기)에 모두 적용된다.

실험 결과

연구 질문

• RQ1 압축 단계를 포함하는 수축 트리에 대한 초최적화가 수작업 또는 일반 목적 알고리즘보다 임의의 그래프에서 더 정확하고 효율적인 근사 텐서 네트워크 수축을 가능하게 하는가?
• RQ2 초최적화 과정에서 비용 함수(메모리 또는 계산 비용)를 최소화할 때 다양한 텐서 네트워크 기하 구조에서 수축 오차가 동시에 감소하는가?
• RQ3 무작위 텐서 네트워크의 근사 수축에서 계산 난이도 전이의 특성은 무엇이며, 이는 텐서 요소의 부호 구조와 크기와 어떻게 관련되는가?
• RQ4 이 프레임워크는 수천 개의 텐서를 포함한 장거리 상호작용이나 과도성이 있는 대규모 텐서 네트워크를 효율적으로 수축할 수 있는가?
• RQ5 3D 과도한 격자와 무작위 정규 그래프와 같은 물리적으로 관련된 모델에서 정확한 수축의 지수적 비용을 근사 수축이 얼마나 감소시킬 수 있는가?

주요 결과

• 초최적화된 근사 수축 프rotocol은 정규 격자와 무작위 정규 그래프에서 수작업 수축 전략과 최근의 일반 알고리즘보다 더 낮은 오차와 비용을 달성하며, 뛰어난 성능을 보인다.
• 피로크로어 격자에서는 비정상적인 텐서 요소에 대해 정확한 수축보다 지수적 우수성을 보이며 실용적인 확장성을 입증한다.
• 3-정규 무작위 그래프에서는 근사 수축이 여전히 지수적 스케일링을 유지하지만, 상당히 감소된 프리팩터로 인해 대규모 네트워크에서의 효율적 계산이 가능하다.
• 이 프레임워크는 수천 개의 텐서까지 포함하는 3D 과도한 격자 분할 함수와 무작위 정규 그래프에서의 따머 수세기의 근사 수축을 성공적으로 가능하게 한다.
• 무작위 텐서 네트워크에서 경계 전이 현상이 관찰된다: 텐서 요소가 [λ,1] 범위에 균일하게 분포할 때, λ가 감소함에 따라 상대 오차 ΔZ가 급격히 증가하며, 특히 Z 값이 음수이거나 크기 변화가 클 경우 두드러진다.
• 큰 고리 차원 χ를 사용할 경우 어려운 영역에서도 낮은 오차를 유지하며, 이는 이러한 경우에 정확한 수축에 가까워지는 것을 시사하며, 텐서 부호 구조가 수축 난이도에 미치는 영향을 강조한다.