[논문 리뷰] Corrections of the NIST Statistical Test Suite for Randomness

Song-Ju Kim, Ken Umeno외 1명|ArXiv.org|2004. 01. 27.

Cellular Automata and Applications참고 문헌 7인용 수 54

한 줄 요약

이 논문은 무작위성에 대한 NIST 통계적 테스트 세트에서 DFT 및 Lempel-Ziv 압축 테스트에 특히 해당하는 네 가지 핵심 오류를 식별하고 수정한다. SHA1 및 CA 기반 PRBG에서의 경험적 데이터를 바탕으로 수정된 임계값과 분산 추정치를 제안하며, 이는 P-값의 균일성 향상과 이전 테스트 결과를 무효화시켰던 결함을 해결함으로써 암호학적 PRBG 평가, 특히 AES 후보 평가에서의 유효성을 확보한다.

ABSTRACT

It is well known that the NIST statistical test suite was used for the evaluation of AES candidate algorithms. We have found that the test setting of Discrete Fourier Transform test and Lempel-Ziv test of this test suite are wrong. We give four corrections of mistakes in the test settings. This suggests that re-evaluation of the test results should be needed.

연구 동기 및 목표

• 무작위성에 대한 NIST 통계적 테스트 세트에서 DFT 및 Lempel-Ziv 테스트에 특히 해당하는 잘못된 테스트 설정을 식별하고 수정하는 것.
• 이산 분포 효과와 비대칭 분산으로 인해 Lempel-Ziv 테스트에서 P-값이 균일하지 않은 문제를 해결하는 것.
• 특히 AES 후보 평가와 같은 암호학적 평가에서 사용되는 의사난수 비트 생성기(PRBG)에 대한 통계적 테스트의 신뢰성을 향상시키는 것.
• Lempel-Ziv 테스트에 대해 실제 무작위성 특성을 더 잘 반영하는 알고리즘에 종속되지 않는 분포 매개변수를 경험적 데이터로부터 도출하는 것.
• 기존 설정이 잘못된 임계값과 분산 추정치로 인해 이전 테스트 결과가 무효화되었을 수 있으므로, 수정된 설정을 사용하여 이전 결과를 재평가할 것을 주장하는 것.

제안 방법

• 경험적 데이터를 기반으로 DFT 테스트를 재평가하여 잘못된 임계값 T = √(3n)를 제거하고, T = √(2.995732274n)로 대체한다.
• 경험적 분포에서 관찰된 정규분포에서의 이탈을 바탕으로 DFT 테스트의 이론적 분산을 npq/2에서 npq/4로 수정한다.
• Lempel-Ziv 테스트가 과도하게 단순화된 정규분포를 사용하여 P-값 균일성이 떨어졌음을 밝혀내고, 좌우 분산이 다른 비대칭 정규분포로 대체한다.
• SHA1 및 CA5 PRBG 출력을 기반으로 n = 10⁶일 때 새로운 평균 μ = 69588.09과 분산 σ²_L = 75.574336518, σ²_R = 72.42178447을 계산한다.
• 표준 균일성 테스트를 경험적 박스 빈도 수를 사용하는 히스토그램 기반 χ² 테스트로 대체하여 비균일성 탐지 능력을 향상시킨다.
• SHA1 및 CA5에서 유도된 10⁶개의 10⁶비트 시퀀스 샘플 10⁶개를 사용하여 보정된 설정을 검증하였으며, 원래 NIST 설정 대비 P-값 균일성에서 뚜렷한 향상을 보였다.

실험 결과

연구 질문

• RQ1 이론적 정규분포를 사용하고도 Lempel-Ziv 테스트의 P-값이 균일성을 확보하지 못하는 이유는 무엇인가?
• RQ2 진정한 무작위성 하에서 테스트 통계량의 분포를 정확히 반영할 수 있는 DFT 테스트에 적합한 임계값과 분산 매개변수는 무엇인가?
• RQ3 Lempel-Ziv 테스트는 어떻게 재설계되어야 하며, 단어 수 분포의 이산성과 비대칭성을 고려할 수 있는가?
• RQ4 원래 NIST 테스트 설정은 암호학적 PRBG, 특히 AES 후보 분석에서 사용되는 것과 같은 경우에 얼마나 무작위성 평가의 타당성을 손상시키는가?
• RQ5 SHA1과 같이 안전한 PRBG에서 유도된 경험적 데이터를 사용하여 통계 테스트에 더 정확하고 알고리즘에 종속되지 않는 분포 매개변수를 정의할 수 있는가?

주요 결과

• DFT 테스트의 임계값이 잘못 설정되어 √(3n)로 설정되어 있었으며, 수정된 값은 √(2.995732274n)로, 경험적 분포 분위수와 더 잘 일치한다.
• DFT 테스트의 분산이 잘못 설정되어 npq/2로 설정되어 있었으며, 수정된 값은 npq/4로, 이론적 분포의 정확성을 크게 향상시킨다.
• Lempel-Ziv 테스트는 대칭 정규분포를 사용했지만, 경험적 데이터는 뚜렷한 비대칭성을 드러내었으며, 좌우 분산은 4.3%의 차이를 보였다(σ²_L = 75.57 vs. σ²_R = 72.42).
• 원래 Lempel-Ziv 테스트는 유한한 이산적 출력 값으로 인해 P-값 균일성이 확보되지 않았으며, 중심 빈도당 평균 2~3개의 고유한 P-값만 존재하여 테스트의 신뢰성을 무너뜨렸다.
• SHA1 및 CA5의 경험적 빈도 수를 사용하는 히스토그램 기반 χ² 테스트로 균일성 테스트를 재정의함으로써, 그림 8에서 보듯이 P-값 균일성이 뚜렷이 향상되었다.
• 보정된 테스트 설정은 원래 NIST 세트를 사용하여 이전에 AES 후보를 평가한 결과가 잘못되었을 수 있음을 시사하며, 수정된 매개변수를 사용하여 재평가가 필요하다.