[论文解读] Corrections of the NIST Statistical Test Suite for Randomness

Song-Ju Kim, Ken Umeno+1 more|ArXiv.org|Jan 27, 2004

Cellular Automata and Applications参考文献 7被引用 54

一句话总结

本文識別並修正了 NIST 隨機性統計測試套件中 DFT 與 Lempel-Ziv 壓縮測試的四項關鍵錯誤。基於 SHA1 與基於細胞自動機的 PRBG 所得的實證數據，本文提出修正後的臨界值與變異數估計，改善了 P 值的均勻性，並解決了先前測試結果無效化的缺陷，特別是在 AES 潛在演算法評估中尤為顯著。

ABSTRACT

It is well known that the NIST statistical test suite was used for the evaluation of AES candidate algorithms. We have found that the test setting of Discrete Fourier Transform test and Lempel-Ziv test of this test suite are wrong. We give four corrections of mistakes in the test settings. This suggests that re-evaluation of the test results should be needed.

研究动机与目标

• 識別並修正 NIST 隨機性統計測試套件中 DFT 與 Lempel-Ziv 測試的錯誤測試設定。
• 解決 Lempel-Ziv 測試中因離散分佈效應與非對稱變異數所導致的 P 值非均勻性問題。
• 提升偽隨機位產生器（PRBG）統計測試的可靠性，特別是在 AES 潛在演算法等加密評估中。
• 提供基於實證數據、與演算法無關的 Lempel-Ziv 測試分佈參數，更真實反映真正隨機性的特性。
• 主張應使用修正後的設定重新評估過去的測試結果，因為原始結果可能因錯誤的臨界值與變異數估計而無效。

提出的方法

• 重新評估 DFT 測試，識別出錯誤的臨界值 T = √(3n)，並以根據實證數據推導出的 T = √(2.995732274n) 取代。
• 基於實證分佈中對常態分配的偏離現象，將 DFT 測試的理論變異數從 npq/2 修正為 npq/4。
• 識別出 Lempel-Ziv 測試使用過於簡化的常態分配，導致 P 值均勻性不佳，進而以具有明確左、右變異數的非對稱常態分配取代。
• 基於 SHA1 與 CA5 PRBG 的輸出，計算出 n = 10⁶ 時的新平均值 μ = 69588.09，以及變異數 σ²_L = 75.574336518 與 σ²_R = 72.42178447。
• 以基於 SHA1 與 CA5 數據的實證分箱頻率之直方圖 χ² 檢定取代標準的 P 值均勻性檢定，提升對非均勻性的偵測能力。
• 使用 SHA1 與 CA5 的 10⁶ 筆 10⁶ 位元序列樣本進行驗證，顯示與原始 NIST 設定相比，P 值均勻性有顯著改善。

实验结果

研究问题

• RQ1 為何 Lempel-Ziv 測試的 P 值即使使用理論常態分配，仍無法達成均勻性？
• RQ2 DFT 測試中，能準確反映真實隨機性下測試統計量分佈的正確臨界值與變異數參數為何？
• RQ3 如何重構 Lempel-Ziv 測試，以納入「字詞數量分佈」的非對稱與離散性特徵？
• RQ4 原始 NIST 測試設定在多大程度上損害了隨機性評估的有效性，特別是在 AES 潛在演算法分析等加密 PRBG 應用中？
• RQ5 能否使用如 SHA1 等安全 PRBG 的實證數據，定義更精確、與演算法無關的統計測試分佈參數？

主要发现

• DFT 測試的臨界值錯誤設定為 √(3n)；修正後的值為 √(2.995732274n)，更符合實證分佈的分位數。
• DFT 測試的變異數錯誤設定為 npq/2；修正後的值為 npq/4，顯著提升理論分佈的準確性。
• Lempel-Ziv 測試使用對稱常態分配，但實證數據顯示明顯的非對稱性，左、右變異數相差 4.3%（σ²_L = 75.57 vs. σ²_R = 72.42）。
• 原始 Lempel-Ziv 測試因輸出值離散性過高，僅中央區間有 2–3 個不同的 P 值，導致 P 值無法達成均勻性，嚴重影響測試可靠性。
• 透過以 SHA1 與 CA5 的實證分箱頻率為基礎，將均勻性檢定改為直方圖 χ² 檢定，方法顯著改善了 P 值均勻性，如圖 8 所示。
• 修正後的測試設定顯示，過去使用原始 NIST 套件評估 AES 潛在演算法的結果可能無效，必須使用修正參數重新評估。