[논문 리뷰] Two New Estimators of Entropy for Testing Normality

Akram Kohansal, Saeid Rezakhah|arXiv (Cornell University)|2014. 05. 01.

Statistical Distribution Estimation and Applications참고 문헌 23인용 수 3

한 줄 요약

이 논문은 순서 통계 표집을 사용하여 Van Es의 추정기와 Wieczorkowski & Grzegorewski의 추정기를 개선함으로써 두 가지 새로운 엔트로피 추정기—HVE^R_mn 및 HW^R_mn—을 제안한다. 이는 편향과 평균 제곱 오차(RMSE)를 낮추며, 두 가지 매우 강력한 정규성 검정을 가능하게 하며, 특히 작은 표본 크기(n=15)에서 기존의 검정들보다도 뛰어난 성능을 보인다.

ABSTRACT

We present two new estimators for estimating the entropy of absolutely continuous random variables. Some properties of them are considered, specifically consistency of the first is proved. The introduced estimators are compared with the existing entropy estimators. Also, we propose two new tests for normality based on the introduced entropy estimators and compare their powers with the powers of other tests for normality. The results show that the proposed estimators and test statistics perform very well in estimating entropy and testing normality. A real example is presented and analyzed.

연구 동기 및 목표

• 연속 분포에 대해 편향과 RMSE를 감소시킨 엔트로피 추정기를 개발하기 위해.
• 순서 통계 표집(RSS)과 수정된 추정기를 활용하여 기존의 엔트로피 기반 정규성 검정을 향상시키기 위해.
• 몬테카를로 시뮬레이션을 통해 새로운 검정 통계량의 성능을 기존의 정규성 검정들과 비교하기 위해.
• 엔트로피 기반 적합도 검정에서 검정력 추정을 위한 실용적이고 경험적으로 검증된 방법을 제공하기 위해.

제안 방법

• 순서 통계 표집(RSS)을 통합하여 Van Es의 엔트로피 추정기(HVE_mn)를 수정하여 추정 정확도를 향상시켰다.
• RSS와 다이감마 함수를 통한 편향 보정을 사용하여 Wieczorkowski & Grzegorewski의 추정기(HW_mn)를 수정하였다.
• 개선된 추정기를 기반으로 정규성 검정을 위한 두 가지 새로운 검정 통계량 TVE^R_mn 및 TW^R_mn을 제안하였다.
• 기존의 검정들(Kolmogorov-Smirnov, Anderson-Darling, Shapiro-Wilk 등)과의 검정력 비교를 위해 몬테카를로 시뮬레이션을 사용하였다.
• 추정된 파라미터 하에 역 가우시안 분포 표본을 시뮬레이션하는 방식으로 경험적 검정력 추정 절차를 적용하였다.
• 실제 데이터 세트인 활성 수리 시간 데이터를 활용하여 역 가우시안 분포에 적합시킨 후 p-값과 검정력을 평가하였다.

실험 결과

연구 질문

• RQ1 순서 통계 표집은 연속 분포에 대한 기존 엔트로피 추정기의 편향과 RMSE를 향상시킬 수 있는가?
• RQ2 HVE^R_mn 및 HW^R_mn이라는 새로운 엔트로피 추정기는 Vasicek, Van Es, Correa 등의 기존 추정기들과 비교해 편향과 RMSE 측면에서 어떤 성능을 보이는가?
• RQ3 TVE^R_mn 및 TW^R_mn라는 새로운 검정 통계량은 특히 작은 표본 크기에서 기존의 정규성 검정들보다 더 높은 통계적 검정력을 보이는가?
• RQ4 제안된 경험적 검정력 추정 절차는 엔트로피 기반 검정 통계량을 비교하는 데 효과적이고 신뢰할 수 있는가?
• RQ5 새로운 추정기와 검정은 활성 수리 시간과 같은 실제 데이터에 대해 의미 있는 p-값과 검정력을 제공하며 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 추정기 HW^R_mn은 다양한 분포에서 비교된 모든 엔트로피 추정기 중에서 일관되게 가장 낮은 편향과 RMSE를 보였다.
• TW^R_mn 검정 통계량은 n=15에서 검정력 0.866을 기록하여, n=45일 때도 경쟁자들(0.5368(TV_mn), 0.1965(TVE_mn), 0.4015(TC_mn))보다 뛰어난 성능을 보였다.
• 활성 수리 시간 데이터 세트에 대해 TW^R_mn의 p-값은 0.0028이었으며, 정규성에 대한 강력한 증거를 제시했고, 역 가우시안 분포에 잘 맞는 것으로 평가되었다.
• 경험적 검정력 추정 절차는 검정 성능을 성공적으로 정량화하고 비교하였으며, 새로운 검정 통계량의 우수성을 확인하였다.
• 새로운 추정기와 검정은 강건하고 효과적이며, 시뮬레이션 연구에서 HW^R_mn가 가장 우수한 종합 성능을 보였다.
• 결과는 순서 통계 표집이 특히 소표본 설정에서 엔트로피 추정과 정규성 검정의 효율성을 크게 향상시킨다는 것을 확인시켰다.