[논문 리뷰] Information Criterion for Minimum Cross-Entropy Model Selection

Youngjun Choe|arXiv (Cornell University)|2017. 04. 14.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 데이터 포인트에서 상수만 평가할 수 있을 때, 표본에서 파라미터 모델에서 목표 분포로의 교차 엔트로피를 추정하는 AIC의 일반화인 교차 엔트로피 정보 기준(CIC)을 소개한다. CIC는 교차 엔트로피 추정에 대해 渐近적으로 편향이 없는 것으로 증명되었으며, 혼합된 파라미터 모델을 사용하여 최적의 중요도 샘플링 분포를 근사하는 데 응용된다.

ABSTRACT

The cross-entropy, which is proportional to the Kullback-Leibler divergence, is widely used to gauge the deviation of a distribution of interest from a reference distribution in statistical inference. For example, the Akaike information criterion (AIC) is an asymptotically unbiased estimator of the cross-entropy from a parametric distribution to the true distribution of data. Minimizing the AIC allows us to find a parametric distribution close to the true distribution. In this paper, we generalize the AIC by letting the reference distribution be a target distribution to approximate when its density can be evaluated up to a multiplicative constant only at observed data points. We prove, under some conditions, that the generalized criterion, which we call the cross-entropy information criterion (CIC), is an asymptotically unbiased estimator of the cross-entropy (up to a multiplicative constant) from a parametric distribution to the target distribution. We demonstrate the usefulness of CIC for approximating the optimal importance sampling distribution by a mixture of parametric distributions.

연구 동기 및 목표

• 기준 분포가 곱하기 상수까지 알려져 있을 때 AIC를 확장하여, 목표 분포의 밀도가 관측된 데이터 포인트에서 곱하기 상수까지 알려져 있을 때의 경우에 적용한다.
• 파라미터 모델과 이러한 목표 분포 사이의 교차 엔트로피를 渐진적으로 추정하는 기준을 개발한다.
• 중요도 샘플링과 같은 설정에서 목표 분포를 가장 잘 근사하는 파라미터 모델을 선택하는 실용적인 도구를 제공한다.
• 혼합된 파라미터 모델을 사용하여 최적의 중요도 샘플링 분포를 근사하는 데에 제안된 기준의 유용성을 보여준다.

제안 방법

• 관측된 데이터 포인트에서 밀도가 곱하기 상수까지 알려져 있을 때 기준 분포를 목표 분포로 허용하여 AIC를 일반화한다.
• 파라미터 모델에서 목표 분포로의 교차 엔트로피 추정자로 교차 엔트로피 정보 기준(CIC)을 정의한다.
• 정규성 조건 하에 CIC가 교차 엔트로피 추정에 대해 渐진적으로 편향이 없음을 증명한다 (상수 배수까지).
• CIC를 사용하여 최적의 중요도 샘플링 분포를 가장 잘 근사하는 혼합 모델을 선택한다.
• 목표 밀도가 관측된 데이터 포인트에서만 평가되는 우도 기반 프레임워크에서 기준을 적용한다.

실험 결과

연구 질문

• RQ1 기준 분포가 상수까지 알려져 있을 때 AIC를 일반화할 수 있는가?
• RQ2 제안된 기준은 정규화 상수가 추정이 어려운 목표 분포로의 교차 엔트로피 추정에 대해 渐진적으로 편향이 없는가?
• RQ3 CIC는 중요도 샘플링 근사 모델 선택에 얼마나 잘 작동하는가?
• RQ4 CIC는 최적의 중요도 샘플링 분포를 근사하기 위해 혼합 모델을 효과적으로 선택하는 데 도움이 되는가?

주요 결과

• 제안된 교차 엔트로피 정보 기준(CIC)은 목표 밀도가 곱하기 상수까지 알려져 있을 때조차도 파라미터 모델에서 목표 분포로의 교차 엔트로피 추정에 대해 渐진적으로 편향이 없다.
• CIC는 AIC의 바람직한 성질을 유지하면서도 정규화 상수가 추정이 어려운 문제로의 적용 가능성을 넓힌다.
• 이 기준은 시뮬레이션 기반 추론에서 최적의 중요도 샘플링 분포를 효과적으로 근사하는 파라미터 모델 선택을 가능하게 한다.
• CIC는 목표 분포가 상수까지 알려져 있는 설정, 예를 들어 지수족 또는 잠재변수 모델에서의 모델 선택에 대해 이론적으로 타당하고 실용적인 방법을 제공한다.