[論文レビュー] Recursive Sketched Interpolation: Efficient Hadamard Products of Tensor Trains

Zhaonan Meng, Yuehaw Khoo+2 more|arXiv (Cornell University)|Feb 20, 2026

Tensor decomposition and applications被引用数 0

ひとこと要約

論文は Recursive Sketched Interpolation (RSI) を紹介します。これは randomized TT sketching と interpolative decomposition を用い、bond dimension χ の Hadamard 積を O(χ^3) の計算量で計算する Hadamard product of tensor trains をスケーラブルに求める方法です。RSI は同じコストを保ちながら、より複雑な要素毎写像へ拡張可能です。

ABSTRACT

The Hadamard product of two tensors in the tensor-train (TT) format is a fundamental operation across various applications, such as TT-based function multiplication for nonlinear differential equations or convolutions. However, conventional methods for computing this product typically scale as at least $\mathcal{O}(χ^4)$ with respect to the TT bond dimension (TT-rank) $χ$, creating a severe computational bottleneck in practice. By combining randomized tensor-train sketching with slice selection via interpolative decomposition, we introduce Recursive Sketched Interpolation (RSI), a ``scale product'' algorithm that computes the Hadamard product of TTs at a computational cost of $\mathcal{O}(χ^3)$. Benchmarks across various TT scenarios demonstrate that RSI offers superior scalability compared to traditional methods while maintaining comparable accuracy. We generalize RSI to compute more complex operations, including Hadamard products of multiple TTs and other element-wise nonlinear mappings, without increasing the complexity beyond $\mathcal{O}(χ^3)$.

研究の動機と目的

• 非線形 TT ベースの計算のために TT 表現における Hadamard 積の高速化の必要性を動機づける。
• TT Hadamard 積をスケールに依存して削減した計算量で求めるアルゴリズムとして RSI を提案する。
• RSI が計算中ずっと TT ボンド次元 χ を維持し、中間サイズの膨張を避けることを示す。
• RSI の multi-TT Hadamard 積および他の非線形要素ごとの写像への拡張を示す。

提案手法

• 2 つの TT テンソルを表し、それらの Hadamard 積を TT 形で定義する。
• 全スケッチを明示的に形成することなく入力 TT を圧縮するためにテンソルトレイン・スケッチングを適用する。
• スケッチされたテンソルの Hadamard 積を計算し、次の TT コアを得るために行 ID（階段行）を実行する。
• スケッチと ID の手順を再帰的に繰り返し、コアごとに Hadamard 積 TT コア全体を構築する。
• Hadamard 積とスケッチングプロセスを形式化するためにコピー・テンソル図を活用する。
• RSI を複数の TT テンソルの Hadamard 積や他の要素ごとの非線形写像に拡張しても漸近的コストを増加させない。

実験結果

リサーチクエスチョン

• RQ1 RSI は O(χ^3) の演算で 2 つの TT テンソルの Hadamard 積を計算できるか。
• RQ2 計算中に固定されたボンド次元 χ を維持して高価なランク切り捨てを回避できるか。
• RQ3 乱択 TT スケッチングが interpolative decomposition とどのように相互作用して正確な Hadamard 積を生み出すか。
• RQ4 RSI は 2 個以上の TT の Hadamard 積や他の非線形要素ごとの写像に拡張して、追加の漸近コストなしに可能か。

主な発見

• RSI は TT テンソルの Hadamard 積に対して O(χ^3) の計算コストを達成し、従来の O(χ^4) アプローチと比較して優れる。
• RSI は 計算全体を通じて TT バンド次元 χ を維持し、中間的な爆発的成長を回避する。
• RSI はテンソルトレイン・スケッチングと interpolative decomposition を組み合わせて、大きなスケッチを明示的に作成せずに正確な結果を得る。
• RSI は複数の TT テンソルの Hadamard 積や他の要素ごとの非線形写像への拡張が可能で、同じ O(χ^3) の計算量を維持する。
• TT シナリオ全体でのベンチマーク結果は、RSI が基準法と比べて同等の精度で優れた実行時間スケーラビリティを提供することを示す。