[논문 리뷰] Deriving the Variance of the Discrete Fourier Transform Test Using Parseval's Theorem

Atsushi Iwasaki|arXiv (Cornell University)|2018. 06. 27.

Chaos-based Image/Signal Encryption참고 문헌 4인용 수 3

한 줄 요약

이 논문은 NIST SP800-22의 이산 푸리에 변환 검정(DFTT) 통계량의 이론적 분산을 특정 가정 하에 파르세발의 정리를 사용하여 유도한다. $ N_1 $의 분산, 즉 임계값 $ \sqrt{-n\log(0.05)} $ 이하인 DFT 크기의 수는 약 $ (0.95)(0.05)n/a $이며, 여기서 $ a \approx 3.7903 $이다. 이는 이전의 경험적 추정치와의 괴리를 해결하고, 광범위한 수치 실험을 통해 결과를 검증한다.

ABSTRACT

The discrete Fourier transform test is a randomness test included in NIST SP800-22. However, the variance of the test statistic is smaller than expected and the theoretical value of the variance is not known. Hitherto, the mechanism explaining why the former variance is smaller than expected has been qualitatively explained based on Parseval's theorem. In this paper, we explore this quantitatively and derive the variance using Parseval's theorem under particular assumptions. Numerical experiments are then used to show that this derived variance is robust.

연구 동기 및 목표

• DFTT 통계량의 이론적 분산이 알려져 있지 않아 기대값인 $ (0.95)(0.05)n/2 $보다 현저히 작은 것으로 관측된 오랜 문제를 해결하기 위해.
• qualitative 통찰을 넘어서 파르세발의 정리를 사용하여 분산 감소를 이론적으로 근거화하기 위해.
• DFT 크기 분포에 대한 합리적인 가정 하에 $ \text{Var}[N_1] = (0.95)(0.05)n/a $의 분산 스케일링 인자 $ a $에 대한 정확한 이론적 값을 도출하기 위해.
• 메르센 트위스터 난수 생성기를 사용한 대규모 수치 실험을 통해 유도된 분산을 검증하기 위해.

제안 방법

• DFT 크기 $ |f_j| $가 $ j = 1, \dots, m-1 $에서 자유도 2인 스케일링된 카이제곱분포로 근사된다고 가정한다.
• 파르세발의 정리를 적용하여 DFT 크기의 제곱합을 입력 시퀀스의 에너지와 연결함으로써 $ |f_j| $ 값의 분포에 대한 제약 조건을 설정한다.
• 임계값 $ T = \sqrt{-n\log(0.05)} $에 대해 지표 변수 $ F_j = \mathbf{1}_{\{|f_j| \leq T\}} $를 모델링하고, $ N_1 = \sum_{j=0}^{m-1} F_j $의 분산을 분산과 공분산으로 분해하여 계산한다.
• 가정된 분포 하에서 $ \text{Var}[F_j] $와 $ \text{Corr}[F_i, F_j] $의 해석적 표현을 도출하여 $ \text{Var}[N_1] $의 폐쇄형 표현을 얻는다.
• 이론적 분산이 $ \text{Var}[N_1] = (0.95)(0.05)n/a $가 되도록 하는 스케일링 인자 $ a $를 구하며, $ m \to \infty $일 때 $ a \approx 3.7903 $을 도출한다.
• 메르센 트위스터 난수 생성기를 사용하여 $ 10^8 $개의 길이 $ 10^6 $인 시퀀스를 사용한 수치 실험을 통해 이론적 결과를 검증한다. 여기서는 경험적 상관계수와 분산을 계산하여 $ a $를 추정한다.

실험 결과

연구 질문

• RQ1 이전 추정치가 경험적 관찰에 기반한 바, DFTT 통계량 $ N_1 $의 이론적 분산 값은 무엇인가?
• RQ2 파르세발의 정리는 명목상 $ (0.95)(0.05)n/2 $보다 낮은 분산 관측치를 어떻게 설명하는가?
• RQ3 DFT 크기 분포에 대한 합리적인 가정 하에 $ N_1 $의 분산에 대한 폐쇄형 해석적 표현을 도출할 수 있는가?
• RQ4 유도된 분산 값은 고성능 난수 생성기에서의 경험적 데이터와 일관되고 탄탄한가?
• RQ5 유도된 스케일링 인자 $ a \approx 3.7903 $은 이전의 경험적 값인 3.7879 또는 3.8보다 더 나은 추정치를 제공하는가?

주요 결과

• 파르세발의 정리와 분포 가정에 기반하여, 임계값 $ \sqrt{-n\log(0.05)} $ 이하인 DFT 크기 수 $ N_1 $의 이론적 분산은 $ \text{Var}[N_1] = (0.95)(0.05)n/a $로 유도되며, 여기서 $ a \approx 3.7903 $이다.
• 메르센 트위스터를 사용한 $ 10^8 $개의 시퀀스를 사용한 수치 실험 결과, 유도된 $ a \approx 3.7903 $은 경험적 평균 $ a = 3.790217 \pm 0.000527 $과 일치한다.
• 다른 DFT 주파수에 대한 지표 변수 $ F_i $와 $ F_j $ 간의 상관계수는 0이 아니며, 분산 감소에 크게 기여하여 명목상 $ (0.95)(0.05)n/2 $와의 괴리 원인을 설명한다.
• 이론적 모델에서 유도된 상관계수 $ C[F_i, F_j] $의 주요 항들이 시뮬레이션에서 관측된 것과 일치하여 모델 정확도를 검증한다.
• 이론적 분산은 이전의 경험적 추정치인 $ a \approx 3.7879 $ 또는 $ a \approx 3.8 $보다 더 정확하며, DFTT에서 사용을 권장한다.
• 결과는 난수성의 근본 가설 하에서 적절한 표준화를 보장하기 위해 $ d = \frac{N_1 - 0.95n/2}{\sqrt{(0.95)(0.05)n/3.7903}} $를 테스트 통계량에 사용할 것을 지지한다.