[논문 리뷰] A Bayesian Nonparametric Estimation to Entropy

Luai Al‐Labadi, Viskakh Patel외 2명|arXiv (Cornell University)|2019. 03. 02.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 5

한 줄 요약

이 논문은 Ebrahimi, Pflughoeft, and Soofi(1994)의 최빈 추정법을 기반으로 하되, 딜리클 프로세스 사전분포를 사용한 베이지안 비모수 추정법을 제안한다. 이 방법은 다양한 분포에서 평균제곱오차가 낮아지며, 특히 농도 매개변수 $ a = 0.05 $일 때 뛰어난 성능을 보이며, 베이지안 모델 점검 응용에 적합하다.

ABSTRACT

A Bayesian nonparametric estimator to entropy is proposed. The derivation of the new estimator relies on using the Dirichlet process and adapting the well-known frequentist estimators of Vasicek (1976) and Ebrahimi, Pflughoeft and Soofi (1994). Several theoretical properties, such as consistency, of the proposed estimator are obtained. The quality of the proposed estimator has been investigated through several examples, in which it exhibits excellent performance.

연구 동기 및 목표

• 일致성과 계산 가능성이 보장되는 베이지안 비모수 엔트로피 추정법을 개발하기 위해.
• Ebrahimi, Pflughoeft, and Soofi(1994)의 최빈 추정법을 딜리클 프로세스를 활용한 베이지안 프레임워크로 확장하기 위해.
• 추정법의 일치성, 평균제곱오차, 하이퍼파rameter 및 기본 측도 선택에 대한 안정성 측면에서 성능을 평가하기 위해.
• Al-Labadi와 Evans(2018)가 제기한 바와 같이, 실용적인 베이지안 모델 점검 도구를 제공하기 위해.

제안 방법

• 추정법은 Ebrahimi 등(1994)의 최빈 엔트로피 추정법을 딜리클 프로세스 사전분포 프레임워크에 통합하여 유도된다.
• 딜리클 프로세스 사전분포는 알려지지 않은 누적분포함수를 모델링하기 위해 사용되며, 기본 측도 $ G $ 와 농도 매개변수 $ a $ 를 포함한다.
• 비모수적 유연성을 활용하여 데이터에 적응하는 딜리클 프로세스의 사후 기대값을 통해 엔트로피를 추정한다.
• 순서통계량과 창을 사용한 국소 밀도 추정을 활용하며, 경계 효과를 보정하기 위해 보정 인자 $ c_i $ 를 조정한다.
• 사후분포에서 샘플을 추출하여 엔트로피 추정치를 계산하기 위한 계산 알고리즘이 개발된다.
• 농도 매개변수 $ a $ 에 대한 민감도 분석이 수행되었으며, $ a = 0.05 $ 가 최적 성능을 보였다.

실험 결과

연구 질문

• RQ1 제안된 베이지안 비모수 엔트로피 추정법은 Vasicek과 Ebrahimi 등이 제안한 최빈 추정법에 비해 평균제곱오차에서 어떻게 비교되는가?
• RQ2 농도 매개변수 $ a $ 와 기본 측도 $ G $ 는 추정법의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ3 이 베이지안 추정법은 다양한 분포에서 일치성을 유지하고, 낮은 추정 오차를 달성하는가?
• RQ4 이전 연구에서 제안한 바와 같이, 이 추정법은 효과적으로 베이지안 모델 점검에 사용될 수 있는가?

주요 결과

• 모든 시험 분포(균일, 지수, 정규, Weibull)에서 $ a = 0.05 $ 일 때, 제안된 추정법이 모든 표본 크기에서 가장 낮은 평균제곱오차를 기록하였다.
• 균일 분포의 경우 $ n = 50 $ 에서 제안된 추정법의 MSE는 0.013이었고, Ebrahimi 등이 제안한 추정법의 MSE는 0.048이었다.
• 평균이 1인 지수 분포의 경우 $ n = 50 $ 에서 제안된 추정법의 MSE는 0.022였으며, Vasicek의 추정법(MSE 0.039)과 Ebrahimi 등이 제안한 추정법(MSE 0.022)을 모두 능가했다.
• 기본 측도 $ G $ 의 선택은 $ a = 0.05 $ 일 때는 유의미한 영향을 미치지 않았지만, $ a = 5 $ 일 때는 영향을 미쳐 고농도 매개변수에 민감함을 보였다.
• 작은 표본 크기에서도 추정법은 안정적이고 정확했으며, $ n $ 이 증가함에 따라 MSE가 단조롭게 감소했다.
• 추정법은 일치성이 있으며, $ a/n \to 0 $ 일 때 최적 성능을 보이며, 최적 성능을 위해 작은 $ a $ (예: 0.05) 를 사용하는 것이 바람직하다는 것을 뒷받침한다.