[論文レビュー] Corrections of the NIST Statistical Test Suite for Randomness

Song-Ju Kim, Ken Umeno+1 more|ArXiv.org|Jan 27, 2004

Cellular Automata and Applications参考文献 7被引用数 54

ひとこと要約

この論文は、NIST乱数テストスイートにおける4つの重大な誤りを特定し是正した。特に離散的フーリエ変換（DFT）およびLempel-Ziv圧縮テストにおいて、SHA1およびCAベースのPRBGからの実証的データに基づき、再定義されたしきい値と分散推定値を提案した。これにより、P値の均一性が向上し、特にAES候補評価において無効化されていた過去のテスト結果の欠陥が解消された。

ABSTRACT

It is well known that the NIST statistical test suite was used for the evaluation of AES candidate algorithms. We have found that the test setting of Discrete Fourier Transform test and Lempel-Ziv test of this test suite are wrong. We give four corrections of mistakes in the test settings. This suggests that re-evaluation of the test results should be needed.

研究の動機と目的

• NIST統計的テストスイートにおける乱数性の誤ったテスト設定、特にDFTおよびLempel-Zivテストの特定と是正。
• 離散的分布の影響と非対称分散が原因で生じるLempel-ZivテストにおけるP値の非均一性の問題に対処。
• 暗号的評価（例：AES候補）における擬似乱数ビット生成器（PRBG）の統計的テストの信頼性を向上。
• Lempel-Zivテストに、アルゴリズムに依存しない真の乱 randomness 特性をよりよく反映する実証的分布パラメータを提供。
• 元のしきい値と分散推定値の欠陥により無効化される可能性がある過去のテスト結果を再評価するよう提言。

提案手法

• 実証的データに基づき、誤ったしきい値 T = √(3n) を特定し、T = √(2.995732274n) に置き換えた。
• 実証的分布における正規性の逸脱を踏まえ、理論的分散を npq/2 から npq/4 に見直した。
• Lempel-Zivテストが単純化された正規分布を使用していたため、P値の均一性が著しく低下していた。これを、左・右の分散が異なる非対称正規分布に置き換えた。
• SHA1およびCA5 PRBG出力に基づき、n = 10⁶ の場合に μ = 69588.09、σ²_L = 75.574336518、σ²_R = 72.42178447 の新しい平均および分散を計算した。
• P値の標準的均一性テストを、SHA1およびCA5データからの実証的ビン頻度を用いたヒストグラムベースの χ² テストに置き換え、非均一性の検出を向上させた。
• SHA1およびCA5から得た10⁶個の10⁶ビットシーケンスを用いた10⁶サンプルで補正を検証し、元のNIST設定と比較してP値の均一性が著しく向上した。

実験結果

リサーチクエスチョン

• RQ1 理論的正規分布を用いているにもかかわらず、Lempel-ZivテストのP値がなぜ均一性を達成できないのか？
• RQ2 真の乱 randomness の下でテスト統計量の分布を正確に反映するDFTテストの正しいしきい値および分散パラメータは何か？
• RQ3 Lempel-Zivテストは、語数分布の非対称性と離散的性質をどのように再構築すればよいか？
• RQ4 元のNISTテスト設定は、特にAES候補分析に用いられる暗号的PRBGのランダムネス評価の有効性をどの程度損なっているか？
• RQ5 SHA1のような安全なPRBGからの実証的データを用いて、アルゴリズムに依存しないより正確な統計的テストの分布パラメータを定義できるか？

主な発見

• DFTテストのしきい値は誤って √(3n) に設定されていたが、正しくは √(2.995732274n) であり、実証的分布の分位点とよりよく一致する。
• DFTテストの分散は誤って npq/2 に設定されていたが、正しくは npq/4 に修正され、理論的分布の正確性が著しく向上した。
• Lempel-Zivテストは対称正規分布を使用していたが、実証的データから顕著な非対称性が判明し、左分散 σ²_L = 75.57 と右分散 σ²_R = 72.42 の差が4.3%に達した。
• 元のLempel-Zivテストは、出力値が離散的で限界があるため、中央ビンあたり2〜3個の異なるP値しか得られず、P値の均一性を達成できず、テストの信頼性が損なわれていた。
• SHA1およびCA5の実証的ビン頻度を用いたヒストグラムベースの χ² テストに均一性テストを再定義することで、図8に示すようにP値の均一性が著しく向上した。
• 補正済みテスト設定により、元のNISTスイートを用いたAES候補の評価結果が無効である可能性が示され、補正パrametersを用いた再評価が不可避となった。