[论文解读] An n\log n Lower Bound for Fourier Transform Computation in the Well Conditioned Model

Nir Ailon|arXiv (Cornell University)|Mar 6, 2014

Blind Source Separation Techniques参考文献 4被引用 3

一句话总结

本文在 R-良好条件线性电路模型中建立了计算傅里叶变换任意缩放版本的 Ω((n log n)/R) 下界，其中 R 为统一条件数。通过引入基于拟熵的新型势函数，作者克服了先前方法的局限性，并证明当 R 有界时，归一化傅里叶变换需要 Ω(n log n) 步，从而在一种现实的计算模型中解决了长期悬而未决的开放问题。

ABSTRACT

Obtaining a non-trivial (super-linear) lower bound for computation of the Fourier transform in the linear circuit model has been a long standing open problem for over 40 years. An early result by Morgenstern from 1973, provides an $Ω(n \log n)$ lower bound for the unnormalized Fourier transform when the constants used in the computation are bounded. The proof uses a potential function related to a determinant. The result does not explain why the normalized Fourier transform (of unit determinant) should be difficult to compute in the same model. Hence, the result is not scale insensitive. More recently, Ailon (2013) showed that if only unitary 2-by-2 gates are used, and additionally no extra memory is allowed, then the normalized Fourier transform requires $Ω(n\log n)$ steps. This rather limited result is also sensitive to scaling, but highlights the complexity inherent in the Fourier transform arising from introducing entropy, unlike, say, the identity matrix (which is as complex as the Fourier transform using Morgenstern's arguments, under proper scaling). In this work we extend the arguments of Ailon (2013). In the first extension, which is also the main contribution, we provide a lower bound for computing any scaling of the Fourier transform. Our restriction is that, the composition of all gates up to any point must be a well conditioned linear transformation. The lower bound is $Ω(R^{-1}n\log n)$, where $R$ is the uniform condition number. Second, we assume extra space is allowed, as long as it contains information of bounded norm at the end of the computation. The main technical contribution is an extension of matrix entropy used in Ailon (2013) for unitary matrices to a potential function computable for any matrix, using Shannon entropy on "quasi-probabilities".

研究动机与目标

• 为填补在线性电路模型中对归一化傅里叶变换计算复杂性的理解空白，此前的下界要么依赖于尺度，要么仅限于 2×2 的酉矩阵。
• 开发一个能捕捉真实计算的模型，要求每一步都进行良好条件的变换，以确保鲁棒性和准确性。
• 将 Ailon 基于熵的方法从酉矩阵扩展到一般可逆矩阵，使用一种基于拟熵的新势函数。
• 建立一个对傅里叶变换缩放不敏感的下界，从而解决 Morgenstern 衍生行列式方法的关键局限性。
• 探究该新势函数是否可推广至傅里叶变换之外的其他线性代数运算。

提出的方法

• 基于矩阵元素及其逆的联合分布的拟熵，引入一个新的势函数 Φ_n(M)，使用针对拟概率的广义 f-散度进行定义。
• 定义 R-良好条件模型，要求每一步部分门组合的条件数不超过 R，以确保数值稳定性。
• 利用电路矩阵子矩阵的谱范数界来约束势函数的增长，表明每步势函数最多增长 O(R)。
• 利用引理 5.2，通过控制非对角块的范数约束，对矩阵逆的主要块在势函数中的贡献进行下界估计。
• 结合势函数初始值（0）和最终值（Ω(n log n)）的界，以及每步增长 O(R) 的约束，推导出整体下界 Ω((n log n)/R)。
• 将方法扩展至允许额外输出空间的情形，通过有界额外状态向量的范数，并使用相同的势函数推导出类似的下界。

实验结果

研究问题

• RQ1 定理 3.1 中的 R-依赖性是否紧致，还是可通过利用良好条件矩阵更强的性质加以改进？
• RQ2 定理 5.3 中允许额外输出空间的下界，其对额外空间范数的依赖是否也达到紧致性？
• RQ3 基于拟熵的所提势函数是否可用于证明傅里叶变换之外其他线性代数运算的下界？
• RQ4 为何该方法无法为大多数酉矩阵证明紧致下界，尽管其复杂度很高，其结构上的差异为何使其无法普遍适用？
• RQ5 是否存在根本原因导致酉矩阵的熵势函数全局有界，从而限制其在通用酉操作中证明 Ω(n²) 下界的应用？

主要发现

• 本文在 R-良好条件线性电路模型中，为计算傅里叶变换的任意缩放版本建立了 Ω((n log n)/R) 的下界，其中 R 为统一条件数。
• 该下界与傅里叶变换的缩放无关，具有对归一化鲁棒性，解决了 Morgenstern 衍生行列式方法的关键局限性。
• 势函数 Φ_n(M) 每步最多增长 O(R)，其最终值为 Ω(n log n)，意味着至少需要 Ω((n log n)/R) 个门。
• 该方法通过引入拟概率的拟熵新概念，将 Ailon 基于熵的方法从酉矩阵推广到一般可逆矩阵。
• 即使允许额外输出空间，只要额外状态的范数有界，下界仍保持为 Ω((n log n)/R)。
• 该结果表明，在 R-良好条件模型中，归一化傅里叶变换无法在少于 Ω(n log n) 步内完成，与 FFT 的上界一致，从而在现实假设下确认了其最优性。