[論文レビュー] Deriving the Variance of the Discrete Fourier Transform Test Using Parseval's Theorem

Atsushi Iwasaki|arXiv (Cornell University)|Jun 27, 2018

Chaos-based Image/Signal Encryption参考文献 4被引用数 3

ひとこと要約

この論文は、NIST SP800-22における離散フーリエ変換検定（DFTT）統計量の理論的分散を、特定の仮定の下でパーサバルの定理を用いて導出する。$ N_1 $（しきい値 $ \sqrt{-n\log(0.05)} $ 以下のDFTマグニチュードの数）の分散は、$ (0.95)(0.05)n/a $ にほぼ等しく、$ a \approx 3.7903 $ であることが示され、過去の経験的推定値との不一致を解消し、大規模な数値実験により結果の妥当性が検証される。

ABSTRACT

The discrete Fourier transform test is a randomness test included in NIST SP800-22. However, the variance of the test statistic is smaller than expected and the theoretical value of the variance is not known. Hitherto, the mechanism explaining why the former variance is smaller than expected has been qualitatively explained based on Parseval's theorem. In this paper, we explore this quantitatively and derive the variance using Parseval's theorem under particular assumptions. Numerical experiments are then used to show that this derived variance is robust.

研究の動機と目的

• DFTT統計量の理論的分散が不明であるという長年の問題を解決すること。これは、期待される $ (0.95)(0.05)n/2 $ よりも著しく小さいことが観測されている。
• 定性的な洞察を超えて、パーサバルの定理を用いて分散の低減を理論的に説明すること。
• DFTマグニチュードの分布に関する妥当な仮定の下で、$ \text{Var}[N_1] = (0.95)(0.05)n/a $ の分散スケーリング要因 $ a $ の明確な理論的値を導出すること。
• Mersenne Twister乱数生成器を用いた大規模な数値実験により、導出された分散を検証すること。

提案手法

• DFTマグニチュード $ |f_j| $（$ j = 1, \dots, m-1 $）が自由度2のスケーリングされたカイ二乗分布で近似可能であると仮定する。
• パーサバルの定理を適用し、DFTマグニチュードの二乗和と入力シーケンスのエネルギーを関連づけ、$ |f_j| $ 値の分布に制約を課す。
• しきい値 $ T = \sqrt{-n\log(0.05)} $ に対するインジケータ変数 $ F_j = \mathbf{1}_{\{|f_j| \leq T\}} $ をモデル化し、$ N_1 = \sum_{j=0}^{m-1} F_j $ の分散を分散と共分散に分解して計算する。
• 仮定された分布の下で $ \text{Var}[F_j] $ および $ \text{Corr}[F_i, F_j] $ の解析的表現を導出し、$ \text{Var}[N_1] $ の閉形式表現を導出する。
• 理論的分散が $ \text{Var}[N_1] = (0.95)(0.05)n/a $ と一致するようにスケーリング要因 $ a $ を求め、$ m \to \infty $ のとき $ a \approx 3.7903 $ が得られる。
• Mersenne Twisterを用いて $ 10^8 $ 個の長さ $ 10^6 $ のシーケンスを生成し、実験的相関および分散を計算して $ a $ を推定することで、理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 DFTT統計量 $ N_1 $ の理論的分散の値は何か？ これは過去に経験的観測に基づくものに限られていた。
• RQ2 パーサバルの定理は、名目上の $ (0.95)(0.05)n/2 $ よりも低い分散が観測されるのをどのように説明するか？
• RQ3 DFTマグニチュードの分布に関する妥当な仮定の下で、$ N_1 $ の分散に対する閉形式の解析的表現を導出できるか？
• RQ4 導出された分散値は、高品質な乱数生成器からの経験的データと一貫しており、頑健か？
• RQ5 導出されたスケーリング要因 $ a \approx 3.7903 $ は、過去の経験的値（例：3.7879 や 3.8）よりもより良い推定値を提供するか？

主な発見

• DFTマグニチュードがしきい値 $ \sqrt{-n\log(0.05)} $ 以下の数 $ N_1 $ の理論的分散は、パーサバルの定理と分布的仮定に基づき、$ \text{Var}[N_1] = (0.95)(0.05)n/a $、$ a \approx 3.7903 $ として導出された。
• 導出された $ a \approx 3.7903 $ は、Mersenne Twisterを用いた $ 10^8 $ 個のシーケンスを用いた数値実験と整合しており、経験的平均は $ a = 3.790217 \pm 0.000527 $ を示した。
• 異なるDFT周波数におけるインジケータ変数 $ F_i $ と $ F_j $ 間の相関はゼロではなく、分散の低減に顕著な寄与を示しており、名目上の $ (0.95)(0.05)n/2 $ との乖離を説明する。
• 理論モデルから導出された相関係数 $ C[F_i, F_j] $ の主要項は、シミュレーションで観測されたものと一致し、モデルの正確性を裏付けた。
• 過去の経験的推定値（例：$ a \approx 3.7879 $ や $ a \approx 3.8 $）よりも導出された分散がより正確であり、DFTTにおける使用が推奨される。
• この結果は、ランダムネスの帰無仮説下での適切な標準化を保証するため、$ d = \frac{N_1 - 0.95n/2}{\sqrt{(0.95)(0.05)n/3.7903}} $ を検定統計量に用いることを支持する。