[논문 리뷰] Efficient Contraction of Large Tensor Networks for Weighted Model Counting through Graph Decompositions

Jeffrey M. Dudek, Leonardo Dueñas‐Osorio외 1명|arXiv (Cornell University)|2019. 08. 12.

Tensor decomposition and applications참고 문헌 56인용 수 9

한 줄 요약

이 논문은 제약 조건이 있는 카운팅을 위해 대규모 텐서 네트워크를 효율적으로 수축하기 위해 그래프 분해(특히 트리 및 카빙 분해)를 활용하는 가중치 모델 카운터인 TensorOrder를 제안한다. 히우리스틱 트리-분해 솔버를 적용하여 저메모리, 고성능 수축 순서를 찾는 방식으로, 저자들은 일반 텐서 네트워크를 위한 선-그래프(LG)와 고랭크, 구조화된 텐서를 위한 요소-트리(FT)라는 두 가지 방법을 도입한다. 주요 기여는 기존의 카운터보다 비가중치 기준 벤치마크에서 승리하고, 가중치 기준 벤치마크에서 가상의 최고 솔버보다 21% 향상된 실용적이고 고성능 도구를 제공한다는 점이다.

ABSTRACT

Constrained counting is a fundamental problem in artificial intelligence. A promising new algebraic approach to constrained counting makes use of tensor networks, following a reduction from constrained counting to the problem of tensor-network contraction. Contracting a tensor network efficiently requires determining an efficient order to contract the tensors inside the network, which is itself a difficult problem. In this work, we apply graph decompositions to find contraction orders for tensor networks. We prove that finding an efficient contraction order for a tensor network is equivalent to the well-known problem of finding an optimal carving decomposition. Thus memory-optimal contraction orders for planar tensor networks can be found in cubic time. We show that tree decompositions can be used both to find carving decompositions and to factor tensor networks with high-rank, structured tensors. We implement these algorithms on top of state-of-the-art solvers for tree decompositions and show empirically that the resulting weighted model counter is quite effective and useful as part of a portfolio of counters.

연구 동기 및 목표

• 가중치 모델 카운팅이라는 #P-완전 문제에서 대규모 텐서 네트워크를 효율적으로 수축하는 문제에 대응한다. 이는 광범위한 인공지능 응용 분야를 포함한다.
• 완전한 수축 순서 탐색의 확장성 한계를 히우리스틱 그래프 분해 기법을 활용하여 극복한다.
• 고랭크, 구조화된 텐서(실제 제약 조건에서 흔히 발생함)를 효과적으로 처리하기 위해 새로운 사전처리 인수분해 방법을 도입한다.
• 최신 텐서 및 분해 라이브러리와 통합된 실용적이고 고성능의 모델 카운터를 개발한다. 이는 산업 규모의 사용에 적합하다.
• 포트폴리오 형태의 모델 카운터에서 텐서 네트워크 기반 카운팅이 경쟁 가능한 구성 요소로 기능하는지 입증한다.

제안 방법

• 트리 분해를 적용하여 저폭의 카빙 분해를 유도함으로써, 직접적으로 메모리 효율적인 텐서 수축 순서를 도출한다.
• 선-그래프(LG) 방법을 구현하여 텐서 네트워크의 선 그래프를 트리 분해로 변환함으로써, 구조 기반 수축 순서 선택을 가능하게 한다.
• 고랭크, 구조화된 텐서(예: XOR 또는 정확히 한 개만 참인 제약 조건에서 유래한 텐서)를 수축하기 전에 계층적 터커 표현을 사용하여 인수분해하는 요소-트리(FT) 방법을 도입한다.
• LG와 FT를 통합하여, 히우리스틱 트리-분해 솔버(htd, Flow, Tamaki)와 고성능 텐서 라이브러리를 결합한 새로운 가중치 모델 카운터인 TensorOrder를 개발한다.
• 온라인, 인크리멘탈 트리-분해 솔버를 사용하여 수축 트리를 동적으로 생성함으로써, 조기 종료와 성능 모니터링을 가능하게 한다.
• 실제 및 합성 벤치마크를 사용하여 최대랭크와 런타임을 기준으로 수축 품질을 평가한다.

실험 결과

연구 질문

• RQ1 히우리스틱 그래프 분해 기법이 가중치 모델 카운팅에서 대규모 텐서 네트워크의 효율적인 수축 순서 유도에 효과적으로 활용될 수 있는가?
• RQ2 트리 분해 및 카빙 분해 기법이 텐서 네트워크 수축 중 메모리 사용을 얼마나 줄일 수 있는가?
• RQ3 구조 인식 사전처리 방법(요소-트리)이 기존 텐서 방법이 처리하지 못하는 고랭크, 구조화된 텐서의 효과적인 수축을 가능하게 하는가?
• RQ4 제안된 텐서 기반 모델 카운터(TensorOrder)의 성능이 표준 가중치 모델 카운팅 벤치마크에서 최신 정확한 카운터와 비교해 어떻게 되는가?
• RQ5 다양한 히우리스틱 트리-분해 솔버(htd, Flow, Tamaki)가 전체 모델 카운팅 파이프라인의 효율성과 확장성에 어떤 영향을 미치는가?

주요 결과

• LG 방법을 사용한 TensorOrder는 비가중치 기준 벤치마크에서 모든 다른 정확한 모델 카운터 및 텐서 기반 방법보다 뛰어나며, 시간 제한 내에 더 많은 인스턴스를 해결한다.
• FT 방법은 표준 가중치 모델 카운팅 벤치마크의 21%에서 가상의 최고 솔버를 향상시켜, 구조화된 고랭크 텐서에 대한 효과성을 입증한다.
• FT+Tamaki와 FT+Flow는 확률적 추론 벤치마크에서 뛰어난 성능을 보였다: FT+Flow는 가장 빠르게 저최대랭크 수축 트리를 찾았고, FT+Tamaki는 1000초 이내에 가장 많은 벤치마크를 해결했다.
• 1091개의 확률적 추론 벤치마크 세트에서, 인수분해 없이 텐서 기반 방법(LG, 그리디, 메티스)은 1000초 이내에 단 한 개의 벤치마크도 해결하지 못했으며, 이는 FT의 인수분해가 필수적임을 시사한다.
• 선-그래프 방법은 일반 텐서 네트워크에 효과적이며, 요소-트리 방법은 XOR 및 정확히 한 개만 참인 절을 포함한 복잡한 구조적 제약 조건을 유일하게 처리할 수 있다.
• 히우리스틱 트리-분해 도구와 고성능 텐서 라이브러리의 통합은 포트폴리오 환경에서 사용 가능한 확장성 있고 실용적인 모델 카운터를 만들어낸다.