[论文解读] Fast Fourier Optimization: Sparsity Matters

Robert J. Vanderbei|arXiv (Cornell University)|Sep 4, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用 10

一句话总结

本文提出了一种新颖方法，将快速傅里叶变换（FFT）作为稀疏线性约束嵌入优化问题中，从而高效求解高分辨率傅里叶约束问题，适用于高对比度成像等领域。通过基于Cooley-Tukey FFT算法的两步分解重构离散傅里叶变换，该方法将计算成本从 O(N²) 降低至 O(N log N)，实现更精细的离散化和分辨率提升，同时避免运行时间的不可接受增长。

ABSTRACT

Many interesting and fundamentally practical optimization problems, ranging from optics, to signal processing, to radar and acoustics, involve constraints on the Fourier transform of a function. It is well-known that the {\em fast Fourier transform} (fft) is a recursive algorithm that can dramatically improve the efficiency for computing the discrete Fourier transform. However, because it is recursive, it is difficult to embed into a linear optimization problem. In this paper, we explain the main idea behind the fast Fourier transform and show how to adapt it in such a manner as to make it encodable as constraints in an optimization problem. We demonstrate a real-world problem from the field of high-contrast imaging. On this problem, dramatic improvements are translated to an ability to solve problems with a much finer grid of discretized points. As we shall show, in general, the "fast Fourier" version of the optimization constraints produces a larger but sparser constraint matrix and therefore one can think of the fast Fourier transform as a method of sparsifying the constraints in an optimization problem, which is usually a good thing.

研究动机与目标

• 解决傅里叶变换约束下大规模优化问题中的计算瓶颈问题。
• 在高对比度成像等应用中实现更高分辨率的离散化，同时避免计算成本的不可接受增长。
• 将离散傅里叶变换重新表述为一系列与内点法兼容的稀疏线性约束。
• 证明基于FFT的重构可使优化问题中的约束矩阵更加稀疏且高效。

提出的方法

• 本文基于Cooley-Tukey FFT算法，针对奇数长度变换（N = 3^m）采用两步分解方法重构离散傅里叶变换。
• 将一维傅里叶求和重写为对索引 k₀, k₁ 和 j₀, j₁ 的双重求和，利用分解 N = N₀N₁（其中 N₀ = 3，N₁ = 3^{m-1}）的性质。
• 将指数项分解为三个部分：一个依赖于 k₁ 和 j₁，一个依赖于 k₁ 和 j₀，一个依赖于 k₀ 和 j₀，从而实现可分离计算。
• 该方法将傅里叶变换表示为两个一维变换的复合形式，使FFT式的递归结构得以保留，同时保持优化所需的线性性质。
• 由此产生的约束矩阵相比直接计算DFT的稠密矩阵显著更稀疏，从而提升求解器效率。
• 通过在每个维度上依次应用两步FFT方法，将该方法扩展至二维问题，如日冕仪设计。

实验结果

研究问题

• RQ1 能否在不牺牲稀疏性或效率的前提下，将快速傅里叶变换嵌入标准优化框架中的线性约束？
• RQ2 在大规模问题中，基于FFT的重构与直接DFT计算相比，在约束矩阵规模、稀疏性及求解时间方面有何差异？
• RQ3 基于FFT的方法在傅里叶约束优化问题中，能在多大程度上实现更高分辨率的离散化？
• RQ4 两步FFT分解能否推广至多维问题，同时保持计算效率和稀疏性？
• RQ5 在高对比度成像应用中，稀疏性对内点法收敛性和整体运行时间有何影响？

主要发现

• 基于FFT的重构使约束矩阵中的非零元素数量从约1720万（单步模型，n=150）减少至839,240（双步模型，n=150），减少超过95%。
• 对于 n=1000，双步模型的约束矩阵包含2960万个非零元素，而单步模型因内存和计算限制已不可行。
• 双步模型在26,060秒（约7.2小时）内求解了 n=1000 的问题，而单步模型因32位内存限制完全无法求解。
• 双步模型在 n=1000 时实现了444次内点法迭代，对偶目标值为0.05394369256，表明解具有高精度和良好收敛性。
• 双步方法实现了1000×1000的网格分辨率，而单步方法无法实现，显著提升了高对比度成像中掩模设计的精度。
• 该方法的稀疏性带来了更快的收敛速度和更好的可扩展性，使得以往无法实现的更精细离散化问题成为可能求解。