[论文解读] Deriving the Variance of the Discrete Fourier Transform Test Using Parseval's Theorem

Atsushi Iwasaki|arXiv (Cornell University)|Jun 27, 2018

Chaos-based Image/Signal Encryption参考文献 4被引用 3

一句话总结

本文在特定假设下，利用帕塞瓦尔定理推导了NIST SP800-22中离散傅里叶变换检验（DFTT）统计量的理论方差。结果表明，在阈值 $ \sqrt{-n\log(0.05)} $ 下，DFT幅值小于该阈值的计数 $ N_1 $ 的方差约为 $ (0.95)(0.05)n/a $，其中 $ a \approx 3.7903 $，解决了先前经验估计中的差异，并通过大规模数值实验验证了结果。

ABSTRACT

The discrete Fourier transform test is a randomness test included in NIST SP800-22. However, the variance of the test statistic is smaller than expected and the theoretical value of the variance is not known. Hitherto, the mechanism explaining why the former variance is smaller than expected has been qualitatively explained based on Parseval's theorem. In this paper, we explore this quantitatively and derive the variance using Parseval's theorem under particular assumptions. Numerical experiments are then used to show that this derived variance is robust.

研究动机与目标

• 为长期存在的DFTT检验统计量理论方差未知问题提供解决方案，该问题表现为实际方差显著小于预期的 $ (0.95)(0.05)n/2 $。
• 基于帕塞瓦尔定理，提供对减小方差现象的理论解释，超越定性分析。
• 在关于DFT幅值分布的合理假设下，推导出方差缩放因子 $ a $ 的精确理论值，形式为 $ \text{Var}[N_1] = (0.95)(0.05)n/a $。
• 通过使用梅森旋转算法生成的随机数序列进行大规模数值实验，验证推导出的方差。

提出的方法

• 假设DFT幅值 $ |f_j| $（$ j = 1, \dots, m-1 $）的分布可近似为自由度为2的缩放卡方分布。
• 应用帕塞瓦尔定理，将DFT幅值的平方和与输入序列的能量联系起来，从而对 $ |f_j| $ 的分布施加约束。
• 对指示变量 $ F_j = \mathbf{1}_{\{|f_j| \leq T\}} $（其中 $ T = \sqrt{-n\log(0.05)} $）进行建模，并通过分解方差与协方差，计算 $ N_1 = \sum_{j=0}^{m-1} F_j $ 的方差。
• 在假设分布下，推导出 $ \text{Var}[F_j] $ 和 $ \text{Corr}[F_i, F_j] $ 的解析表达式，从而获得 $ \text{Var}[N_1] $ 的闭式表达式。
• 求解缩放因子 $ a $，使得 $ \text{Var}[N_1] = (0.95)(0.05)n/a $，当 $ m \to \infty $ 时，得到 $ a \approx 3.7903 $。
• 通过使用 $ 10^8 $ 条长度为 $ 10^6 $ 的序列进行数值实验，计算经验相关性和方差以估计 $ a $，从而验证理论结果。

实验结果

研究问题

• RQ1 在先前估计仅基于经验观察的前提下，DFTT检验统计量 $ N_1 $ 的理论方差值是多少？
• RQ2 帕塞瓦尔定理如何解释观察到的方差低于名义值 $ (0.95)(0.05)n/2 $ 的现象？
• RQ3 在关于DFT幅值分布的合理假设下，能否推导出 $ N_1 $ 方差的闭式解析表达式？
• RQ4 推导出的方差值是否对高质量随机数生成器的实证数据具有鲁棒性和一致性？
• RQ5 推导出的缩放因子 $ a \approx 3.7903 $ 是否优于先前的经验值（如 3.7879 或 3.8）？

主要发现

• 基于帕塞瓦尔定理和分布假设，推导出 $ N_1 $（即低于阈值 $ \sqrt{-n\log(0.05)} $ 的DFT幅值计数）的理论方差为 $ \text{Var}[N_1] = (0.95)(0.05)n/a $，其中 $ a \approx 3.7903 $。
• 推导出的 $ a \approx 3.7903 $ 与使用梅森旋转算法生成的 $ 10^8 $ 条序列的数值实验结果一致，得到的经验均值为 $ a = 3.790217 \pm 0.000527 $。
• 不同DFT频率的指示变量 $ F_i $ 与 $ F_j $ 之间的相关性非零，且对方差减小有显著贡献，解释了与名义值 $ (0.95)(0.05)n/2 $ 的差异。
• 理论模型推导出的相关系数 $ C[F_i, F_j] $ 的主导项与模拟结果中观察到的完全一致，验证了模型的准确性。
• 与先前的经验估计值 $ a \approx 3.7879 $ 或 $ a \approx 3.8 $ 相比，该方差估计更精确，建议在DFTT中使用以提升随机性检验的精度。
• 该结果支持在检验统计量中使用 $ d = \frac{N_1 - 0.95n/2}{\sqrt{(0.95)(0.05)n/3.7903}} $，以确保在随机性原假设下的正确标准化。