[논문 리뷰] On the Optimal Linear Contraction Order of Tree Tensor Networks, and Beyond

Mihail Stoian, Milbradt, Richard외 1명|arXiv (Cornell University)|2022. 09. 25.

Parallel Computing and Optimization Techniques인용 수 4

한 줄 요약

이 논문은 트리 텐서 네트워크의 최적 선형 수축 순서를 다항 시간 내에 찾는 TensorIKKBZ라는 알고리즘을 제시한다. 이는 데이터베이스 조인 순서 설정 기법을 응용한 것으로, 수축 비용 함수가 인접한 순서 교환 성질을 만족함을 증명하여 국소적 비교를 통해 전역 최적해를 도출할 수 있으며, 일반 텐서 네트워크로의 확장을 위해 강력한 경험적 성능을 보이는 히우리스틱 프레임워크를 제공한다.

ABSTRACT

The contraction cost of a tensor network depends on the contraction order. However, the optimal contraction ordering problem is known to be NP-hard. We show that the linear contraction ordering problem for tree tensor networks admits a polynomial-time algorithm, by drawing connections to database join ordering. The result relies on the adjacent sequence interchange property of the contraction cost, which enables a global decision of the contraction order based on local comparisons. Based on that, we specify a modified version of the IKKBZ database join ordering algorithm to find the optimal tree tensor network linear contraction order. Finally, we extend our algorithm as a heuristic to general contraction orders and arbitrary tensor network topologies.

연구 동기 및 목표

• 트리 텐서 네트워크에서 최적 선형 수축 순서를 다항 시간 내에 찾는 알고리즘을 개발하는 것. 이는 일반적으로 NP-난이도임.
• 텐서 네트워크 수축과 데이터베이스 조인 순서 간의 공식적인 연결 고리를 설정하는 것. 특히 IKKBZ 알고리즘과의 연결.
• 텐서 네트워크 수축 비용 함수가 국소적 결정을 통해 전역 최적화를 가능하게 하는 인접한 순서 교환(ASI) 성질을 만족함을 증명하는 것.
• 최적 선형 수축 프레임워크를 일반 수축 순서 및 임의의 텐서 네트워크 구조로 확장하기 위한 히우리스틱으로 적용하는 것.
• 최신 초그래프 분할 기반 최적화기들과의 경험적 평가를 통해, 뛰어난 성능과 효율성을 입증하는 것.

제안 방법

• 수축 비용을 조인 선택도와 카디널리티와 유사하게 재정의하여, IKKBZ 데이터베이스 조인 순서 알고리즘을 텐서 네트워크 수축에 적응시키는 것.
• 텐서 수축 비용 함수가 인접한 순서 교환(ASI) 성질을 만족함을 증명하여, 국소적 비교를 통해 최적 순서를 도출할 수 있음을 보장하는 것.
• 각 수축에서 관여하는 레그 크기의 곱으로 수축 비용을 정의함으로써, 나이브 텐서 곱셈의 계산 비용과 일치시킴.
• 트리 텐서 네트워크 전용으로 최적 선형 수축 순서를 다항 시간 내에 계산하는 데 특화된, IKKBZ 알고리즘의 수정 버전인 TensorIKKBZ를 구축하는 것.
• TensorIKKBZ의 출력 결과를 시드로 사용하여, 주어진 텐서 순열을 존중하는 최적 수축 트리를 구축하는 최근의 조인 순서 최적화기인 LinDP에 통합하는 것.
• 정확한 최적화가 불가능한 일반 텐서 네트워크로의 확장을 위해 최대 스패닝 트리 히우리스틱을 적용하는 것.

실험 결과

연구 질문

• RQ1 트리 텐서 네트워크의 최적 선형 수축 순서는 다항 시간 내에 계산될 수 있는가?
• RQ2 텐서 네트워크 수축 비용 함수는 그로비 최적화를 가능하게 하는 인접한 순서 교환(ASI) 성질을 만족하는가?
• RQ3 데이터베이스 조인 순서 기법인 IKKBZ는 트리 텐서 네트워크에서 최적 선형 수축 순서를 달성하는 데 적응 가능한가?
• RQ4 제안된 최적 선형 수축 알고리즘의 실용적 성능은 최신 초그래프 분할 기반 최적화기들과 비교해 어떻게 되는가?
• RQ5 최적 선형 수축 순서는 일반 텐서 네트워크 구조의 히우리스틱 최적화에 고품질의 시드로 활용될 수 있는가?

주요 결과

• TensorIKKBZ는 트리 텐서 네트워크의 최적 선형 수축 순서를 다항 시간 내에 계산하며, 이는 수축 비용 함수가 인접한 순서 교환(ASI) 성질을 만족함을 증명한 것이다.
• 포크-텐서 프로덕트 상태(FTPS) 네트워크의 경우, 선형 순서에 제한된 점을 감안할 때도, 최신 초최적화기 ctg.Hyper-Par와 유사한 수준의 수축 비용을 달성한다.
• TensorIKKBZ를 시드로 사용하는 LinDP는 FTPS 및 히에라르키컬 터커(HT) 네트워크 전반에서 ctg.Hyper-Par를 거의 한 계급 정도 낮은 수준의 수축 비용으로 일관되게 초월한다.
• TensorIKKBZ와 LinDP는 효율적인 C++ 구현과 유리한 시간 복잡도 덕분에, 병렬화 조건이 있더라도 ctg.Hyper-Par보다 훨씬 빠른 속도를 보이며, 이는 성능 향상에 기여한다.
• TensorIKKBZ에서 도출된 최적 선형 수축 순서는 일반 텐서 네트워크에서 히우리스틱 최적화의 견고한 시드로 기능하여 근사 최적 결과를 도출할 수 있다.
• 이 방법은 공개되어 있으며, opt_einsum 및 cotengra에 통합되어 실용적 적용성과 확장성을 입증하고 있다.