[論文レビュー] On the Optimal Linear Contraction Order of Tree Tensor Networks, and Beyond

Mihail Stoian, Milbradt, Richard+1 more|arXiv (Cornell University)|Sep 25, 2022

Parallel Computing and Optimization Techniques被引用数 4

ひとこと要約

本稿では、データベースの結合順序付け技術を応用することで、木構造テンソルネットワークの最適な線形収縮順序を多項式時間で求めるアルゴリズムであるTensorIKKBZを提案する。収縮コスト関数が隣接順序入れ替え性（ASI）を満たすことを証明し、局所的な比較によってグローバル最適解が得られることを示し、一般テンソルネットワークへは強力な実験的性能を示すヒューリスティックフレームワークを用いて拡張する。

ABSTRACT

The contraction cost of a tensor network depends on the contraction order. However, the optimal contraction ordering problem is known to be NP-hard. We show that the linear contraction ordering problem for tree tensor networks admits a polynomial-time algorithm, by drawing connections to database join ordering. The result relies on the adjacent sequence interchange property of the contraction cost, which enables a global decision of the contraction order based on local comparisons. Based on that, we specify a modified version of the IKKBZ database join ordering algorithm to find the optimal tree tensor network linear contraction order. Finally, we extend our algorithm as a heuristic to general contraction orders and arbitrary tensor network topologies.

研究の動機と目的

• 木構造テンソルネットワークにおける最適な線形収縮順序を求める多項式時間アルゴリズムの開発。これは一般にはNP困難である。
• テンソルネットワークの収縮とデータベース結合順序付けの間の明示的な関係を確立し、特にIKKBZアルゴリズムと結びつける。
• テンソルネットワークの収縮コスト関数が隣接順序入れ替え（ASI）性質を満たすことを証明し、局所的決定によるグローバル最適化を可能にする。
• 最適な線形収縮フレームワークを一般収縮順序および任意のテンソルネットワークトポロジーへとヒューリスティックに拡張する。
• 最先端のハイパーグラフ分割に基づく最適化器と比較して、実験的に性能を評価し、優れた性能と効率性を示す。

提案手法

• 収縮コストを結合選択性と基数に類似させる形で再定式化することで、IKKBZデータベース結合順序アルゴリズムをテンソルネットワーク収縮に適応する。
• テンソル収縮コスト関数が隣接順序入れ替え（ASI）性質を満たすことを証明し、局所的比較によって最適順序が得られることを示す。
• 各収縮における関与する腿のサイズの積として収縮コストを定義し、ナイーブテンソル乗算の計算コストと整合させる。
• 木構造テンソルネットワークに特化した、最適な線形収縮順序を多項式時間で計算する、IKKBZアルゴリズムの修正版—TensorIKKBZ—を構築する。
• TensorIKKBZの出力を、与えられたテンソル順列を尊重する最適な収縮木を構築する最近の結合順序最適化器LinDPのシードとして使用する。
• 一般テンソルネットワークでは正確な最適化が不可能であるため、最大全域木ヒューリスティックを用いてアプローチを一般化する。

実験結果

リサーチクエスチョン

• RQ1 木構造テンソルネットワークの最適な線形収縮順序は多項式時間で計算可能か？
• RQ2 テンソルネットワークの収縮コスト関数は、貪欲な最適化に必要な隣接順序入れ替え（ASI）性質を満たすか？
• RQ3 データベース結合順序付け手法IKKBZは、木構造テンソルネットワークで最適な線形収縮順序を達成するために適応可能か？
• RQ4 提案された最適な線形収縮アルゴリズムは、実際の応用において最先端のハイパーグラフ分割に基づく最適化器と比較してどのように性能を発揮するか？
• RQ5 最適な線形収縮順序は、一般テンソルネットワークトポロジーのヒューリスティック最適化の高品質なシードとして機能できるか？

主な発見

• TensorIKKBZは、木構造テンソルネットワークの最適な線形収縮順序を多項式時間で計算し、収縮コスト関数が隣接順序入れ替え（ASI）性質を満たすことを証明した。
• フォークテンソル積状態（FTPS）ネットワークでは、線形順序に制限されるものの、最先端の最適化器ctg.Hyper-Parと同等の収縮コストを達成した。
• TensorIKKBZをシードとして使用するLinDPは、FTPSおよび階層的タッカー（HT）ネットワークの両方で、ctg.Hyper-Parをほぼ1桁の差で常に上回った収縮コストを達成した。
• 両者とも、効率的なC++実装と有利な時間計算量のおかげで、並列化を施してもctg.Hyper-Parよりも顕著に高速であった。
• TensorIKKBZの最適な線形収縮順序は、一般テンソルネットワークにおけるヒューリスティック最適化の強固な出発点となり、近似的に最適な結果をもたらした。
• 本手法は公開されており、opt_einsumおよびcotengraに統合されており、実用的応用性と拡張可能性を示している。