[论文解读] Improved Approximation Guarantees for Sublinear-Time Fourier Algorithms

Mark Iwen|arXiv (Cornell University)|Sep 30, 2010

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

该论文提出了一类改进的亚线性时间傅里叶算法，在高维稀疏傅里叶变换中实现了更优的近似保证。通过改进先前的稀疏傅里叶变换方法，并结合基于RIP的随机采样与恢复技术，该方法在运行时间 $ O(k^2 D^4) $ 下实现了 $ l^2, l^1/\sqrt{k} $ 的误差界，与先前工作相比，显著降低了随 $ k $ 增大而增长的误差。

ABSTRACT

In this paper modified variants of the sparse Fourier transform algorithms from [14] are presented which improve on the approximation error bounds of the original algorithms. In addition, simple methods for extending the improved sparse Fourier transforms to higher dimensional settings are developed. As a consequence, approximate Fourier transforms are obtained which will identify a near-optimal k-term Fourier series for any given input function, $f : [0, 2 pi] -> C, in O(k^2 \cdot D^4)$ time (neglecting logarithmic factors). Faster randomized Fourier algorithm variants with runtime complexities that scale linearly in the sparsity parameter k are also presented.

研究动机与目标

• 开发傅里叶近似算法，以保证对带限函数 $ f: [0,2\tau]^D \to \mathbb{C} $ 的 $ k $-项三角近似实现近似最优恢复。
• 改进先前的近似误差界，特别是将 $ \sqrt{k} \|\hat{f} - \hat{f}^{\rm opt}_k\|_1 $ 项减少一个 $ k $ 倍因子。
• 将稀疏傅里叶变换技术扩展到更高维度，同时在 $ N^D $ 上保持亚线性运行时间，避免维度 $ D $ 的指数级增长。
• 设计更快的随机化变体，实现与原始方法相似的误差保证，且在 $ k $ 上呈线性增长，减少函数评估次数和运行时间复杂度。
• 确保算法在不依赖 $ f $ 的平滑性假设下仍能工作，使其适用于一般带限函数。

提出的方法

• 修改 [14] 中的稀疏傅里叶变换框架，将 $ \sqrt{k} \|\hat{f} - \hat{f}^{\rm opt}_k\|_1 $ 误差项减少 $ k $ 倍，实现 $ l^2, l^1/\sqrt{k} $ 的实例最优误差界。
• 基于中国剩余定理构造双射映射 $ g $，将 $ D $ 维傅里叶域嵌入一维域，从而可应用一维稀疏傅里叶技术。
• 应用具有限制等距性质（RIP）的随机测量矩阵 $ \mathcal{R}_{\lambda, \tilde{S}} $，以降低采样和运行时间复杂度。
• 设计三步算法：(i) 隐式地将 $ f $ 映射到新函数 $ f_{\rm new} $，(ii) 对 $ \hat{f}_{\rm new} $ 应用一维稀疏傅里叶变换，(iii) 通过 $ g^{-1} $ 将结果映射回原始 $ D $ 维域。
• 利用压缩感知和RIP矩阵的相关结果，确保以高概率稳定恢复稀疏傅里叶系数。
• 通过使用 $ O(k^2 D^4 \log^4(MD)/\epsilon^2) $ 个样本实现确定性变体的优化运行时间，以及通过使用 $ O(k D^4 / \epsilon \cdot \log^3(MD) \cdot \log(MD/(1-\sigma))) $ 个样本实现随机化变体的优化运行时间，成功概率为 $ \sigma \in [2/3,1] $。

实验结果

研究问题

• RQ1 亚线性时间傅里叶算法的近似误差是否可以改进，以避免随 $ k $ 增大而退化？
• RQ2 如何将先前方法中的 $ \sqrt{k} \|\hat{f} - \hat{f}^{\rm opt}_k\|_1 $ 误差项减少至 $ \|\hat{f} - \hat{f}^{\rm opt}_k\|_2 + \|\hat{f} - \hat{f}^{\rm opt}_{k/\epsilon}\|_1 / \sqrt{k} $，以确保误差随 $ k $ 增加而单调改善？
• RQ3 在高维傅里叶近似中，实现实例最优误差界所需的最少函数评估次数是多少？
• RQ4 随机采样策略是否可以实现与确定性RIP方法相同的误差保证，同时显著降低运行时间和采样复杂度？
• RQ5 如何降低或转换傅里叶域的维度，以在 $ D $-维场景中高效应用一维稀疏傅里叶算法？

主要发现

• 所提出的算法实现了 $ l^2, l^1/\sqrt{k} $ 的实例最优误差界，将先前的误差项 $ \sqrt{k} \|\hat{f} - \hat{f}^{\rm opt}_k\|_1 $ 减少了 $ k $ 倍，确保误差随 $ k $ 增大而减小。
• 对于确定性变体，运行时间和采样复杂度为 $ O(k^2 D^4 \log^4(MD) / \epsilon^2) $，在 $ D $ 上呈多项式增长，避免了指数爆炸。
• 随机化变体以 $ O(k D^4 / \epsilon \cdot \log^3(MD) \cdot \log(MD/(1-\sigma))) $ 的运行时间和采样复杂度实现了相同的误差保证，支持在 $ k $ 上的线性扩展。
• 该算法成功恢复了近似最优的 $ k $-项傅里叶近似 $ \hat{y}_k $，使得以高概率满足 $ \|\hat{f} - \hat{y}_k\|_2 \leq \|\hat{f} - \hat{f}^{\rm opt}_k\|_2 + 22\epsilon \|\hat{f} - \hat{f}^{\rm opt}_{k/\epsilon}\|_1 / \sqrt{k} $。
• 该方法适用于在余弦或切比雪夫基下具有稀疏表示的函数，扩展了其在傅里叶变换之外的应用范围。
• 该方法避免了对 $ D $ 的指数依赖，当 $ k = M^{o(D)} $ 时，可实现亚线性时间恢复，而标准FFT则需要 $ \Omega(M^D) $ 的时间。