[論文レビュー] Learning tensor networks with tensor cross interpolation: new algorithms and libraries

Y. Núñez-Fernández, Marc K. Ritter+9 more|arXiv (Cornell University)|Jul 2, 2024

Tensor decomposition and applications被引用数 7

ひとこと要約

限られたデータからコンパクトなテンソル・トレイン（MPS）表現を学習するためのテンソルクロス補間（TCI）の改良を導入し、安定性のために cross interpolation を部分ランク開示 LU（prrLU）に置換し、オープンソースライブラリ（xfac および TensorCrossInterpolation.jl）を提供し、多様な応用を可能にします。

ABSTRACT

The tensor cross interpolation (TCI) algorithm is a rank-revealing algorithm for decomposing low-rank, high-dimensional tensors into tensor trains/matrix product states (MPS). TCI learns a compact MPS representation of the entire object from a tiny training data set. Once obtained, the large existing MPS toolbox provides exponentially fast algorithms for performing a large set of operations. We discuss several improvements and variants of TCI. In particular, we show that replacing the cross interpolation by the partially rank-revealing LU decomposition yields a more stable and more flexible algorithm than the original algorithm. We also present two open source libraries, xfac in Python/C++ and TensorCrossInterpolation.jl in Julia, that implement these improved algorithms, and illustrate them on several applications. These include sign-problem-free integration in large dimension, the superhigh-resolution quantics representation of functions, the solution of partial differential equations, the superfast Fourier transform, the computation of partition functions, and the construction of matrix product operators.

研究の動機と目的

• 高次元テンソルのためのランク開示型でデータ効率の良い分解を動機づけ、開発する。
• TCIの安定性と柔軟性を、cross interpolationの代わりに部分ランク開示LU（prrLU）を用いて改善する。
• 物理学、数学、工学を横断するTCIと量子表現の実践的応用を実証する。
• 改善されたアルゴリズムを実装するオープンソースソフトウェアライブラリを提供する。

提案手法

• CIをprrLUベースの分解に置き換え、より安定で柔軟なTCIアルゴリズムを得る。
• ピボット戦略（全体、ルーク、ブロックルーク）を用いた1サイトおよび2サイト、さらには高サイトTCI変異を開発し、ピボットの追加/削除オプションを提供する。
• 表現を簡略化するCI-およびLU-正規化手順を導入する。
• CI/prrLUとSchur補完、誤差解釈およびネスティング特性との関係を確立する。
• テンソル・トレイン、MPO、および量子表現の実装可能なAPIを含む高レベルのアルゴリズムを提供する。
• TCIが限られた評価からMPSを構築し、標準のMPSツールボックスで高速な演算を実現する方法を示して、効率を実証する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータから低ランクのMPS表現を学習する際に、TCIをより堅牢で柔軟にするにはどうすればよいか。
• RQ2 従来のCIアプローチと比較してprrLUを用いる場合の安定性と性能の利点は何か。
• RQ3 TCIを高次元積分、量子表示、偏微分方程式（PDE）、MPO構築にどう適用できるか。
• RQ4 これらの手法を可能にするオープンソースライブラリの実装上の実務的なAPIと実装上の考慮事項は何か。
• RQ5 CIとprrLUは、このテンソル文脈におけるSchur補完および自己エネルギー概念とどのように関連するか。

主な発見

• TCIは非常に小さなトレーニングデータセットからコンパクトなMPS表現を学習でき、MPSツールボックスを用いた後続のテンソル演算を高速化する。
• cross interpolationをprrLUに置換することで、行列・テンソルの両方のケースでより安定的で柔軟なアルゴリズムになる。
• 論文は収束性と頑健性を向上させる1サイト、2サイト、0サイトの複数のバリアントと、全体、 rook、ブロック rook のピボット戦略を提示する。
• 改良されたTCIと量子表示アルゴリズムを実装するオープンソースライブラリとして、xfac（Python/C++）と TensorCrossInterpolation.jl の2つを紹介する。
• 適用例として高次元積分、関数の量子表示、PDE、FFT、分割関数の計算、およびMPO構築が含まれる。