[논문 리뷰] Mutual Information as a Bayesian Measure of Independence

David R. Wolf|ArXiv.org|1995. 11. 06.

Financial Risk and Volatility Modeling참고 문헌 5인용 수 12

한 줄 요약

이 논문은 통계적 가설 검정에서 상호정보량을 기본적인 베이지안 독립성 측도로 설정한다. 임의의 두 변수 간의 정확한 베이지안 사후 확률을 도출하고, 상호정보량이 점점 더 큰 베이지안 검정 통계량을 지배함을 보여주며, 고전적 검정 통계량을 베이지안 증거의 관점에서 이론적으로 해석한다.

ABSTRACT

The problem of hypothesis testing is examined from both the historical and Bayesian points of view in the case that sampling is from an underlying joint probability distribution and the hypotheses tested for are those of independence and dependence of the underlying distribution. Exact results for the Bayesian method are provided. Asymptotic Bayesian results and historical method test quantities are compared, and historical method quantities are interpreted in terms of clearly defined Bayesian quantities. The asymptotic Bayesian test relies upon a statistic that is primarily mutual information.

연구 동기 및 목표

• 독립성 검정의 맥락에서 빈도주의 가설 검정과 베이지안 추론을 통합하는 것.
• 이元 분포에서 독립성에 대한 정확한 베이지안 사후 확률을 도출하는 것.
• 고전적 검정 통계량(예: 카이제곱)을 상호정보량 기반의 베이지안 증거에 대한 근사로 해석하는 것.
• 상호정보량을 베이지안 독립성 검정에서의 중심 점근적 통계량으로 설정하는 것.
• 이론적으로 탄탄한 정보이론적 대안을 제공하여 고전적 독립성 검정을 베이지안 원리에 기반시켜야 한다는 것.

제안 방법

• 독립성과 의존성 모델 간의 사후 오즈 비교로 가설 검정 문제를 설정한다.
• 공통 확률 분포 위에 정보가 없는 사전분포를 사용하여 정확한 베이지안 사후 확률을 계산한다.
• 베이지안 로그 오즈 비율의 점근적 형태를 유도하여, 이것이 상호정보량의 함수로 수렴함을 보인다.
• 점근적 베이지안 검정 통계량을 고전적 카이제곱 및 최대우도 비율 통계량과 비교한다.
• 상호정보량이 베이지안 증거의 점근적 전개에서 지배적인 항으로 나타남을 보여준다.
• 역사적 검정 통계량(예: 피어슨의 카이제곱)을 상호정보량 기반의 베이지안 정보 기준에 대한 근사로 해석한다.

실험 결과

연구 질문

• RQ1 상호정보량을 의존성의 베이지안 측도로 공식적으로 정당화할 수 있는가?
• RQ2 독립성 검정에서 베이지안 사후 오즈와 상호정보량 사이의 정확한 관계는 무엇인가?
• RQ3 큰 표본 근처에서 고전적 검정 통계량(예: 카이제곱)은 베이지안 증거와 어떻게 관련이 있는가?
• RQ4 대립가설 하에서 상호정보량이 베이지안 검정 통계량을 점점 더 지배하는 것으로 보일 수 있는가?
• RQ5 베이지안 프레임워크에서 통계적 의존성 측도로 상호정보량을 사용하는 데 이론적 근거는 무엇인가?

주요 결과

• 정보가 없는 사전분포를 가정한 하에서, 이원 분포에서의 정확한 베이지안 사후 확률이 유도되었다.
• 점근적 베이지안 검정 통계량이 상호정보량에 비례하는 함수로 수렴함을 보여, 그것의 중심적 역할을 확립하였다.
• 피어슨의 카이제곱과 같은 고전적 검정 통계량이 큰 표본 근처에서 베이지안 증거를 근사함을 보였다.
• 상호정보량이 베이지안 로그 오즈 비율의 점근적 전개에서 핵심 양으로 공식적으로 식별되었다.
• 논문은 고전적 독립성 검정에 대한 베이지안 해석을 제공하여, 그것이 암묵적으로 정보이론적 의존성을 측정한다는 것을 보여주었다.
• 결과적으로 상호정보량이 빈도주의 추정량이 아니라, 독립성에 대한 베이지안 추론의 핵심 구성 요소임을 입증하였다.