[논문 리뷰] Recursive Sketched Interpolation: Efficient Hadamard Products of Tensor Trains

Zhaonan Meng, Yuehaw Khoo외 2명|arXiv (Cornell University)|2026. 02. 20.

Tensor decomposition and applications인용 수 0

한 줄 요약

본 논문은 Recursive Sketched Interpolation (RSI)를 도입합니다. 이는 randomized TT sketching 및 interpolative decomposition을 사용하여 bond dimension χ를 갖는 tensor trains의 Hadamard 곱을 O(χ^3) 복잡도로 계산하는 확장 가능한 방법입니다. RSI는 같은 비용을 유지하면서 더 복잡한 원소별 매핑으로 확장됩니다.

ABSTRACT

The Hadamard product of two tensors in the tensor-train (TT) format is a fundamental operation across various applications, such as TT-based function multiplication for nonlinear differential equations or convolutions. However, conventional methods for computing this product typically scale as at least $\mathcal{O}(χ^4)$ with respect to the TT bond dimension (TT-rank) $χ$, creating a severe computational bottleneck in practice. By combining randomized tensor-train sketching with slice selection via interpolative decomposition, we introduce Recursive Sketched Interpolation (RSI), a ``scale product'' algorithm that computes the Hadamard product of TTs at a computational cost of $\mathcal{O}(χ^3)$. Benchmarks across various TT scenarios demonstrate that RSI offers superior scalability compared to traditional methods while maintaining comparable accuracy. We generalize RSI to compute more complex operations, including Hadamard products of multiple TTs and other element-wise nonlinear mappings, without increasing the complexity beyond $\mathcal{O}(χ^3)$.

연구 동기 및 목표

• 비선형 TT 기반 계산을 위해 TT 표현에서 빠른 Hadamard 곱의 필요성을 동기 부여한다.
• 복잡도 감소를 통해 TT Hadamard 곱을 계산하는 규모 인식 알고리즘으로 RSI를 제안한다.
• RSI가 TT-bond 차원 χ를 전체 기간 유지하고 큰 중간 크기를 피함을 시연한다.
• RSI를 다중 TT Hadamard 곱 및 기타 비선형 원소별 매핑으로 확장하는 것을 보여준다.

제안 방법

• 두 개의 TT 텐서를 표현하고 TT 형태로 이들의 Hadamard 곱을 정의한다.
• 입력 TT를 명시적으로 전체 스케치를 형성하지 않고 압축하기 위해 tensor-train 스케칭을 적용한다.
• 스케치된 텐서들의 Hadamard 곱을 계산하고 다음 TT-코어를 얻기 위해 row interpolative decomposition (ID)을 수행한다.
• 스케치 및 ID 단계를 재귀적으로 반복하여 전체 Hadamard 곱 TT 코어를 코어 단위로 구성한다.
• Hadamard 곱과 스케칭 과정을 형식화하기 위해 copy 텐서 다이어그램을 활용한다.
• Asymptotic_cost를 증가시키지 않으면서 RSI를 다중 TT 텐서의 Hadamard 곱 및 다른 원소별 비선형 매핑으로 일반화한다.

실험 결과

연구 질문

• RQ1 RSI가 두 개의 TT 텐서의 Hadamard 곱을 단지 O(χ^3) 연산으로 계산할 수 있는가?
• RQ2 계산 전반에 걸쳐 RSI가 고정된 bond 차원 χ를 유지하여 비싼 랭크 잘림(rank truncations)을 피하는가?
• RQ3 무작위 TT 스케칭이 interpolative decomposition과 어떻게 상호 작용하여 정확한 Hadamard 곱을 생성하는가?
• RQ4 RSI를 두 개를 초과하는 TT의 Hadamard 곱 및 다른 비선형 원소별 매핑으로 확장하되 추가적인 asymptotic 비용 없이 가능한가?

주요 결과

• RSI는 TT 텐서의 Hadamard 곱에 대해 전통적인 O(χ^4) 방식과 비교하여 O(χ^3)의 계산 비용을 달성한다.
• RSI는 계산 전반에 걸쳐 TT bond 차원 χ를 유지하여 비싼 중간 증가를 피한다.
• RSI는 대형 스케치를 명시적으로 형성하지 않고 정확한 결과를 얻기 위해 텐서 트레인 스케칭과 interpolative decomposition을 함께 활용한다.
• RSI는 같은 O(χ^3) 복잡도로 여러 TT 텐서의 Hadamard 곱 및 다른 원소별 비선형 매핑으로 확장될 수 있다.
• TT 시나리오 전반의 벤치마크 결과는 RSI가 기저 방법과 비교해 비슷한 정확도에 비해 우수한 런타임 확장성을 제공한다.