[논문 리뷰] Information Theory and Statistics: an overview

Daniel Commenges|arXiv (Cornell University)|2015. 11. 03.

Financial Risk and Volatility Modeling참고 문헌 28인용 수 13

한 줄 요약

이 논문은 통계학에서 정보이론의 역할에 대한 종합적인 개요를 제공하며, 특히 추정과 모형 선택에서의 응용을 다룬다. 최대우도 추정이 교차 엔트로피를 최소화함으로써 쿨백-라이블러 위험과 연결되며, AIC와 교차검증 추정기 등이 교차엔트로피를 추정하는 데 사용되는 것과 동치임을 보여주며, 베이지안 모형 비교에서의 가짜 베이즈 인자와도 동치임을 밝힌다.

ABSTRACT

We give an overview of the role of information theory in statistics, and particularly in biostatistics. We recall the basic quantities in information theory; entropy, cross-entropy, conditional entropy, mutual information and Kullback-Leibler risk. Then we examine the role of information theory in estimation theory, where the log-klikelihood can be identified as being an estimator of a cross-entropy. Then the basic quantities are extended to estimators, leading to criteria for estimator selection, such as Akaike criterion and its extensions. Finally we investigate the use of these concepts in Bayesian theory; the cross-entropy of the predictive distribution can be used for model selection; a cross-validation estimator of this cross-entropy is found to be equivalent to the pseudo-Bayes factor.

연구 동기 및 목표

• 정보이론적 개념—엔트로피, 교차엔트로피, 쿨백-라이블러 위험—이 통계적 추론에서 차지하는 기초적 역할을 명확히 하기.
• 최대우도 추정이 쿨백-라이블러 위험의 추정기로서 교차엔트로피를 최소화함으로써 유도됨을 보여주기.
• 교차엔트로피 추정의 관점에서부터 신뢰구간 기반 모형 선택 기준(예: AIC, TIC)을 통합하기.
• 정보이론의 응용을 베이지안 모형 선택, 특히 교차검증된 예측 밀도 추정을 통해 확장하기.
• 교차검증된 교차엔트로피(CVCE)와 베이지안 모형 비교에서의 가짜 베이즈 인자 간의 동치성을 보여주기.

제안 방법

• 연속 확률 밀도에 대해 미분 엔트로피, 교차엔트로피, 쿨백-라이블러 위험을 정의한다.
• 로그우도를 교차엔트로피의 경험적 추정기로 식별함으로써, 쿨백-라이블러 위험 최소화와 연결한다.
• 교차검증된 교차엔트로피(CVCE) 추정기를 적용한다: $ \text{CVCE}(f^{{\cal O}}) = -n^{-1} \sum_{i=1}^{n} \log f^{\bar{{\cal O}}_{-i}}(X_i) $, 이는 한 개씩 제거한 예측 밀도를 사용한다.
• CVCE와 모형 비교를 위한 가짜 베이즈 인자(PSBF)의 로그 간의 동치성을 유도한다.
• 몬테카를로 적분을 통해 MCMC 기반 사후 표본을 이용해 CVCE를 계산한다: $ \text{CVCE} = n^{-1} \sum_{i=1}^{n} \log \left( K^{-1} \sum_{k=1}^{K} \frac{1}{f^{\theta_k}(X_i)} \right) $.
• CVCE가 渐近적으로 AIC와 동치이며, 정보 기준에 대한 베이지안 대안을 제공함을 확립한다.

실험 결과

연구 질문

• RQ1 정보이론은 AIC와 같은 신뢰구간 기반 추정 및 모형 선택 기준에 어떻게 기초가 되는가?
• RQ2 우도 기반 추론의 맥락에서 교차엔트로피와 쿨백-라이블러 위험은 통계적으로 어떻게 해석될 수 있는가?
• RQ3 교차검증된 교차엔트로피(CVCE)는 베이지안 통계에서 모형 선택 기준으로 어떻게 활용될 수 있는가?
• RQ4 CVCE와 베이지안 모형 비교에서의 가짜 베이즈 인자 간의 관계는 무엇인가?
• RQ5 MCMC 기반 사후 표본을 사용해 CVCE를 효율적으로 계산할 수 있으며, 다른 정보 기준과 비교해 볼 때 어떤가?

주요 결과

• 로그우도 함수는 교차엔트로피의 경험적 추정기와 동치이며, 이는 최대우도 추정이 쿨백-라이블러 위험 최소화와 연결됨을 보여준다.
• 아카이케 정보기준(AIC)과 그 확장형(예: TIC)은 교차엔트로피를 통한 쿨백-라이블러 위험 추정에서 유도된다.
• 교차검증된 교차엔트로피(CVCE)는 두 베이지안 모형을 비교할 때 가짜 베이즈 인자(PSBF)의 로그와 동치임을 입증한다.
• 매개변수의 사후 분포에 대한 기대값을 근사함으로써 MCMC를 사용해 CVCE를 효율적으로 계산할 수 있다.
• CVCE 추정기는 渐진적으로 AIC와 동치이며, 빈도주의와 베이지안 정보이론적 접근 간의 일관성을 보여준다.
• CVCE를 베이지안 모형 선택에 활용하면, 주변우도 계산의 계산 가능하고 이론적으로 타당한 대안을 제공한다.