[论文解读] Discrete cosine transform LSQR and GMRES methods for multidimensional ill-posed problems

M. El Guide, Alaa El Ichi+1 more|arXiv (Cornell University)|Mar 22, 2021

Tensor decomposition and applications参考文献 23被引用 5

一句话总结

本论文提出了一种基于离散余弦变换（DCT）的快速、正则化张量Krylov子空间方法——DC-GMRES、DC-Golub-Kahan（DC-GK）和DC-LSQR，用于加速多维不适定张量问题的求解，尤其在彩色和视频图像恢复中表现突出。通过利用快速余弦乘积和张量Krylov迭代，这些方法在数值实验中实现了高精度与高效率，其中DC-LSQR在噪声水平为$10^{-3}$和$10^{-2}$的RGB图像上展现出卓越的速度与具有竞争力的精度。

ABSTRACT

In the present work, we propose new tensor Krylov subspace method for ill posed linear tensor problems such as in color or video image restoration. Those methods are based on the tensor-tensor discrete cosine transform that gives fast tensor-tensor product computations. In particular, we will focus on the tensor discrete cosine versions of GMRES, Golub-Kahan bidiagonalisation and LSQR methods. The presented numerical tests show that the methods are very fast and give good accuracies when solving some linear tensor ill-posed problems.

研究动机与目标

• 开发用于图像与视频恢复中出现的大规模多维不适定张量问题的高效迭代求解器。
• 利用张量-张量离散余弦变换（DCT）实现快速张量积计算，降低计算复杂度。
• 将经典Krylov方法——GMRES、Golub-Kahan和LSQR——适配至张量格式，结合余弦乘积以提升多通道数据上的性能。
• 将这些方法与Tikhonov正则化及广义交叉验证（GCV）相结合，以在噪声存在下获得稳定解。
• 在不同噪声水平下，验证所提方法在真实世界彩色图像恢复任务中的有效性。

提出的方法

• 论文引入张量离散余弦积（c-积）以实现基于DCT的快速、结构化张量运算，支持高效张量-张量积计算。
• 基于c-积，构建GMRES、Golub-Kahan双对角化及LSQR的张量形式，支持对三阶张量进行Krylov子空间迭代。
• 这些方法将大规模张量问题投影至低维Krylov子空间，在每一步求解一个小规模的正则化最小二乘问题。
• 在每次迭代中对投影问题应用Tikhonov正则化，正则化参数通过广义交叉验证（GCV）方法估计。
• 利用快速DCT算法，将c-积计算成本降低至每次操作O(n log n)，显著加速整体求解过程。
• 通过递归应用，该框架可扩展至更高阶张量。

实验结果

研究问题

• RQ1 基于离散余弦变换的张量Krylov子空间方法是否能在求解多维不适定张量问题方面优于标准方法？
• RQ2 基于DCT的张量积对图像恢复中迭代求解器的计算效率与精度有何影响？
• RQ3 在不同噪声水平下，DC-GMRES、DC-GK与DC-LSQR在速度、精度与鲁棒性方面的相对表现如何？
• RQ4 Tikhonov正则化与GCV的结合是否能在c-积框架下的张量Krylov方法中产生稳定且准确的解？
• RQ5 在彩色图像恢复任务中，所提方法在图像尺寸与噪声强度增加时的可扩展性如何？

主要发现

• 对于噪声水平$10^{-3}$的$\tt papav256$图像，DC-LSQR以1.23秒的最低CPU时间完成计算，而DC-GK达到最高的信噪比（SNR）23.9 dB。
• 在噪声水平$10^{-2}$下，DC-LSQR再次在SNR（20.2 dB）与CPU时间（1.23秒）之间取得最佳平衡，优于DC-GMRES(10)与DC-GK。
• 在更大的$\tt cat1024$图像（噪声水平$10^{-3}$）上，DC-LSQR实现最优SNR（18.87 dB）与最低CPU时间（19.45秒），优于DC-GMRES(10)与DC-GK。
• 在相同图像、噪声水平$10^{-2}$下，DC-LSQR仍保持最佳性能，SNR达15.75 dB，CPU时间为26.43秒，尽管噪声水平更高。
• DC-LSQR方法所需迭代次数更少（$\tt cat1024$图像的k_opt = 15），并在不同噪声水平与图像尺寸下表现出一致的性能。
• 基于快速DCT的c-积显著降低了张量运算的计算成本，与标准方法相比在大规模问题上实现了显著加速。