[論文レビュー] Hyper-optimized approximate contraction of tensor networks with arbitrary geometry

Johnnie Gray, Garnet Kin‐Lic Chan|arXiv (Cornell University)|Jun 14, 2022

Elasticity and Material Modeling参考文献 75被引用数 4

ひとこと要約

本論文は、任意のグラフに対して近似的なテンソルネットワーク縮約を実行するハイパーオプティマイズドフレームワークを導入する。このフレームワークは、二項の縮約と特異値分解（SVD）に基づく結合圧縮を含む縮約木に対する反復的最適化を用いる。ハイパーオプティマイズにおいてメモリコストまたは計算コストを最小化することで、手作業で設計された手法や既存の一般アルゴリズムよりも著しく低い誤差とコストを達成し、フラストレーションを示す3次元格子やランダム正則グラフを含む大規模テンソルネットワークの効率的シミュレーションを可能にする。

ABSTRACT

Tensor network contraction is central to problems ranging from many-body physics to computer science. We describe how to approximate tensor network contraction through bond compression on arbitrary graphs. In particular, we introduce a hyper-optimization over the compression and contraction strategy itself to minimize error and cost. We demonstrate that our protocol outperforms both hand-crafted contraction strategies in the literature as well as recently proposed general contraction algorithms on a variety of synthetic and physical problems on regular lattices and random regular graphs. We further showcase the power of the approach by demonstrating approximate contraction of tensor networks for frustrated three-dimensional lattice partition functions, dimer counting on random regular graphs, and to access the hardness transition of random tensor network models, in graphs with many thousands of tensors.

研究の動機と目的

• 規則的な格子に限定されない任意のグラフ幾何構造に適用可能な汎用的な近的テンソルネットワーク縮約フレームワークの開発。
• 縮約および圧縮の順序列に対するハイパーオプティマイズを導入することで、正確なテンソルネットワーク縮約の指数的コストを低減すること。
• フラストレーションを示す3次元格子やランダムテンソルネットワークなど、物理的に重要なモデルにおいて、既存の近的縮約戦略を上回る精度と効率性を実現すること。
• ハイパーオプティマイズの過程でコスト関数（メモリまたは計算コスト）を最小化することで、同時に縮約誤差が低減することを示し、コストと精度のトレードオフを可能にすること。
• ランダムテンソルネットワークにおける計算の難易度の転移を調査し、複雑なテンソル要素を持つ状況でも近的縮約が有効である領域を同定すること。

提案手法

• 近的縮約を、各ノードが縮約または圧縮ステップに対応する有向かつ順序付けられた計算木として表現する。
• コスト関数 M（ピークメモリ）または C（計算コスト）に従って、ヒューリスティックパラメータ θ と最大結合次元 χ を用いて反復的に縮約木をサンプリングするハイパーオプティマイズループを採用する。
• 結合部におけるテンソル間の特異値分解（SVD）を用いて圧縮を実行し、圧縮の順序とタイミングを木構造の一部として最適化する。
• 本フレームワークは、規則的な格子、ランダム正則グラフ、ピロクロア格子やダイヤモンド格子を含む複雑な3次元幾何構造を含む、任意のグラフトポロジーをサポートする。
• パラメータ化されたヒューリスティクス（例：グリーディアルゴリズム）を用いて可能な縮約木の空間を探索し、ハイパーパrameterを調整してコスト関数を最小化する。
• 本手法は、[λ,1] の均一な要素を持つランダムテンソルネットワークなどの合成モデルおよび、フラストレーションを示す格子上の分配関数やランダムグラフ上のドミノ数え上げなどの物理的系に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 圧縮ステップを含む縮約木に対するハイパーオプティマイズは、任意のグラフにおいて、手作業設計や一般アルゴリズムを上回る精度と効率性を持つ近的テンソルネットワーク縮約を達成できるか？
• RQ2 ハイパーオプティマイズの過程でコスト関数（メモリまたは計算コスト）を最小化することで、多様なテンソルネットワーク幾何構造において同時に縮約誤差が低減するか？
• RQ3 ランダムテンソルネットワークの近的縮約における計算の相転移は何か？また、テンソル要素の符号構造と大きさの変動とはどのように関係するか？
• RQ4 本フレームワークは、数千個のテンソルを含む大規模テンソルネットワーク、特に長距離相互作用やフラストレーションを持つものに対しても、効率的に縮約可能か？
• RQ5 フラストレーションを示す3次元格子やランダム正則グラフといった物理的に重要なモデルにおいて、近的縮約は正確な縮約の指数的コストをどの程度低減できるか？

主な発見

• ハイパーオプティマイズド近的縮約プロトコルは、規則的な格子やランダム正則グラフにおいて、手作業設計の縮約戦略および最近の一般アルゴリズムを上回り、より低い誤差とコストを達成した。
• ピロクロア格子において、非ハードなテンソル要素に対して正確な縮約と比較して指数的利点を示し、実用的なスケーラビリティを実証した。
• 3次元ランダム正則グラフでは、近的縮約が指数的スケーリングを維持するが、前因子が著しく小さくなるため、大規模ネットワークにおける効率的計算が可能になった。
• 本フレームワークは、3次元フラストレーション格子の分配関数や、数千個のテンソルを含むランダム正則グラフ上のドミノ数え上げについても、近的縮約を成功裏に実行できた。
• ランダムテンソルネットワークでは、テンソル要素が[λ,1]に一様に分布する場合、λが小さくなるにつれて相対誤差ΔZが急激に増加するハードネス転移が観測された。特にZ値が負または大きさの変動が著しい場合に顕著であった。
• 大きな結合次元χを用いることで、困難な領域においても誤差が低く抑えられ、その場合、正確な縮約に近づく傾向を示した。また、テンソルの符号構造が縮約の難易度に与える影響を強調した。