Skip to main content
QUICK REVIEW

[论文解读] Fast multidimensional convolution in low-rank formats via cross approximation

Maxim Rakhuba, Ivan Oseledets|arXiv (Cornell University)|Feb 23, 2014
Tensor decomposition and applications参考文献 47被引用 6
一句话总结

该论文提出了一种用于低秩张量格式(TT、Tucker、HT)中快速多维卷积的cross-conv算法,通过在频域中应用交叉近似,使卷积变为逐元素乘法。该方法在张量秩方面的复杂度低于先前的方法,并在计算3D牛顿势和初步哈特ree-fock解时表现出更优的效率。

ABSTRACT

We propose a new cross-conv algorithm for approximate computation of convolution in different low-rank tensor formats (tensor train, Tucker, Hierarchical Tucker). It has better complexity with respect to the tensor rank than previous approaches. The new algorithm has a high potential impact in different applications. The key idea is based on applying cross approximation in the "frequency domain", where convolution becomes a simple elementwise product. We illustrate efficiency of our algorithm by computing the three-dimensional Newton potential and by presenting preliminary results for solution of the Hartree-Fock equation on tensor-product grids.

研究动机与目标

  • 解决在高维问题中使用低秩张量格式时多维卷积带来的高计算成本问题。
  • 通过利用TT和Tucker等稳定张量格式,克服传统FFT和CP分解方法在 $ d > 2 $ 时的局限性。
  • 开发一种数值稳定且高效的卷积算法,使其在张量秩和网格大小上具有良好的可扩展性。
  • 实现在量子力学和势场建模等应用中大规模多维卷积的实际计算。

提出的方法

  • 使用FFT将离散卷积转换到频域,使其变为逐元素乘积。
  • 对频域中的乘积张量应用交叉近似,以最小的精度损失将其压缩为低秩格式(TT、Tucker、HT)。
  • 采用一种新颖的基于Schur补的交叉近似算法(Schur-Cross3D),通过迭代方式增强张量近似,同时保留先前选择的优质行。
  • 利用最大体积(maxvol)准则选择插值索引,以确保低秩近似的稳定性和准确性。
  • 通过确保傅里叶变换和逐元素运算保持低秩格式,全程保持张量结构。
  • 将交叉近似过程与张量展开及Schur补技术相结合,高效更新基矩阵,而无需从头开始重新计算。

实验结果

研究问题

  • RQ1是否可以在降低对张量秩依赖的前提下,高效地在低秩张量格式中计算多维卷积?
  • RQ2与现有方法相比,频域中的交叉近似如何改善基于张量的卷积的复杂度和稳定性?
  • RQ3基于Schur补的纤维选择对交叉近似中的收敛性和计算成本有何影响?
  • RQ4在实际的网格尺寸和秩下,所提出的算法与[29]中基于QTT的方法相比,在性能和准确性上表现如何?
  • RQ5该算法在多大程度上能够加速在张量积网格上求解高维PDE(如哈特ree-fock方程)?

主要发现

  • cross-conv算法的复杂度为 $ \mathcal{O}(nr^2 + r^4) $,在张量秩 $ r $ 方面优于先前的方法。
  • 尽管[29]中基于QTT的方法具有更优的渐近复杂度,但在实际的网格尺寸和近似精度下,本算法在实践中表现更优。
  • 数值实验表明,该算法能以高精度和较低计算成本高效计算3D牛顿势。
  • Schur-Cross3D算法通过利用Schur补重用先前选择的优质行,实现了稳定且高效的低秩近似,减少了冗余计算。
  • 对哈特ree-fock方程的初步结果表明,该算法在张量积网格上的量子力学模拟中具有可行性。
  • 开源实现位于 https://github.com/rakhuba/tucker3d,为研究人员提供了可复现和扩展该方法的实际工具。

更好的研究,从现在开始

从阅读论文到最终审阅,大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成,并经人工编辑审核。