[论文解读] Computing Eigenvalues of Large Scale Hankel Tensors

Yannan Chen, Liqun Qi+1 more|arXiv (Cornell University)|Apr 28, 2015

Tensor decomposition and applications参考文献 46被引用 5

一句话总结

该论文提出了一种不精确曲线搜索算法（ACSA-Hankel），用于通过快速傅里叶变换（FFT）和Cayley变换，在单位球面上实现高效优化，从而计算大规模Hankel张量的Z-和H-特征值。该方法每轮迭代的计算复杂度为O(mn log(mn))，并基于Kurdyka-Łojasiewicz性质实现线性收敛，成功在标准台式计算机上计算出维度高达一百万的张量的特征值。

ABSTRACT

Large scale tensors, including large scale Hankel tensors, have many applications in science and engineering. In this paper, we propose an inexact curvilinear search optimization method to compute Z- and H-eigenvalues of $m$th order $n$ dimensional Hankel tensors, where $n$ is large. Owing to the fast Fourier transform, the computational cost of each iteration of the new method is about $\mathcal{O}(mn\log(mn))$. Using the Cayley transform, we obtain an effective curvilinear search scheme. Then, we show that every limiting point of iterates generated by the new algorithm is an eigen-pair of Hankel tensors. Without the assumption of a second-order sufficient condition, we analyze the linear convergence rate of iterate sequence by the Kurdyka-Łojasiewicz property. Finally, numerical experiments for Hankel tensors, whose dimension may up to one million, are reported to show the efficiency of the proposed curvilinear search method.

研究动机与目标

• 开发一种高效算法，用于计算在信号处理、控制理论和成像中常见的大规模Hankel张量的Z-和H-特征值。
• 克服标准特征值求解器在维度高达一百万的张量上计算不可行的问题。
• 利用Hankel结构和快速傅里叶变换（FFT）将每轮迭代的计算成本降低至O(mn log(mn))。
• 在不依赖二阶充分条件的前提下，建立全局收敛性和线性收敛速率。
• 通过高维Hankel张量的数值实验，展示算法的可扩展性和效率。

提出的方法

• 提出一种不精确曲线搜索优化方法，其中搜索方向通过梯度投影到单位球面计算得到。
• 利用Cayley变换构建有效的曲线搜索方案，以保持在单位球面上的可行性。
• 利用快速傅里叶变换（FFT）高效计算张量-向量乘积，将每轮迭代成本降低至O(mn log(mn))。
• 将算法表述为带有单位球面约束的约束优化问题，目标函数为张量对应的齐次多项式。
• 采用二次惩罚重构方法处理约束，并通过不精确线搜索实现以提高计算效率。
• 基于Kurdyka-Łojasiewicz（KŁ）性质进行收敛性分析，确保迭代序列在不依赖二阶充分条件的情况下实现线性收敛。

实验结果

研究问题

• RQ1 能否设计一种高效优化方法，用于计算维度高达一百万的大规模Hankel张量的Z-和H-特征值？
• RQ2 能否通过FFT利用Hankel结构，将每轮迭代的计算成本降低至O(mn log(mn))？
• RQ3 所提出的结合Cayley变换的曲线搜索方法是否能保证全局收敛至一个特征对？
• RQ4 能否在弱于二阶充分条件的假设下建立线性收敛性？
• RQ5 Hilbert张量最大特征值的理论上限有多紧致？能否在数值上逼近？

主要发现

• 所提出的ACSA-Hankel算法在约35分钟内成功计算出维度为一百万的四阶Hankel张量的最大Z-特征值。
• 对于维度为一百万的六阶Hankel张量，计算耗时约55分钟，展示了在标准台式计算机上的可扩展性。
• Vandermonde张量计算得到的最大Z-特征值与命题1给出的理论上限完全一致，验证了算法的正确性。
• 数值实验表明，Hilbert张量最大Z-特征值的理论上限非常紧致，仅相差一个常数因子。
• Hilbert张量的最大H-特征值也接近其理论上限，算法实现了高精度。
• Kurdyka-Łojasiewicz性质使得迭代序列在不依赖二阶充分条件的情况下实现线性收敛，从而拓宽了收敛性分析的适用范围。