[논문 리뷰] Empirical Bayes Methods, Reference Priors, Cross Entropy and the EM Algorithm

Ilja Klebanov, Alexander Sikorski외 2명|arXiv (Cornell University)|2016. 11. 30.

Forecasting Techniques and Applications인용 수 1

한 줄 요약

이 논문은 비모수적 최대우도추정(NPMLE)에서 과적합 문제를 해결하기 위해, 재매개변수화 및 측정 변환에 대해 불변성을 보장하는 엔트로피 기반 정규화 항을 제안한다. 이 방법은 기준 사전분포를 일반화하고 교차 엔트로피 및 최소 차별정보 원리와 연결하며, 이중으로 스무딩된 최대우도추정기의 특수한 경우로 이어진다.

ABSTRACT

When estimating a probability density within the empirical Bayes framework, the non-parametric maximum likelihood estimate (NPMLE) usually tends to overfit the data. This issue is usually taken care of by regularization - a penalization term is subtracted from the marginal log-likelihood before the maximization step, so that the estimate favors smooth solutions, resulting in the so-called maximum penalized likelihood estimation (MPLE). The majority of penalizations currently in use are rather arbitrary brute-force solutions, which lack invariance under transformation of the parameters(reparametrization) and measurements. This contradicts the principle that, if the underlying model has several equivalent formulations, the methods of inductive inference should lead to consistent results. Motivated by this principle and using an information-theoretic point of view, we suggest an entropy-based penalization term that guarantees this kind of invariance. The resulting density estimate can be seen as a generalization of reference priors. Using the reference prior as a hyperprior, on the other hand, is argued to be a poor choice for regularization. We also present an insightful connection between the NPMLE, the cross entropy and the principle of minimum discrimination information suggesting another method of inference that contains the doubly-smoothed maximum likelihood estimation as a special case.

연구 동기 및 목표

• 비모수적 최대우도추정(NPMLE)에서 과적합 문제를 해결하기 위해, 경험베이즈 프레임워크 내에서의 과적합 문제를 다루는 것.
• 기존의 정규화 방법이 매개변수 및 측정 변환에 대해 불변성이 없음을 규명하여 통계적 추론의 기본 원칙을 위반한다는 점을 밝히는 것.
• 정보이론에 기반한 정규화 방법을 개발하여 동치 모델 표현 방식 간의 불변성과 일관성을 보장하는 것.
• 경험베이즈 추정을 정보이론의 원리, 특히 교차 엔트로피와 최소 차별정보 원리와 융합하는 것.
• 기준 사전분포를 하이퍼사전분포로 사용한 정규화가 이 경우에 바람직하지 않음을 보이고, 엔트로피 정규화에 기반한 더 나은 대안을 제안하는 것.

제안 방법

• 정보이론적 원리에서 유도된 엔트로피 기반 정규화 항을 도입하여 경험베이즈 추정에서의 주변 로그우도를 정규화하는 것.
• 피셔 정보와 제프레이라는 사전분포를 기준으로 하여, 정규화 항을 구성함으로써 재매개변수화 및 측정 변환에 대한 추정 절차의 불변성을 확보하는 것.
• 결과적으로 도출된 추정기를 정보이론적 페널티를 갖는 최대 페널티우도추정(MPLE)으로 표현하여 기준 사전분포 개념을 일반화하는 것.
• NPMLE, 교차 엔트로피, 최소 차별정보 원리 간의 관계를 수립하여, 정보 발산 최소화의 관점에서 추정을 프레임워크화하는 것.
• 제안된 프레임워크의 특수한 경우로 이중 스무딩된 최대우도추정기를 유도하여 엔트로피 최소화와 연결하는 것.
• EM 알고리즘을 사용하여 페널티가 부여된 우도 추정치를 계산함으로써, 새로운 정규화 체계 하에서의 밀도 추정치를 반복 최적화할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 경험베이즈 밀도 추정에서 정규화를 어떻게 재매개변수화 및 측정 변환에 대해 불변성 있게 만들 수 있는가?
• RQ2 비모수적 최대우도추정에서 임의의 정규화 항 대신 사용할 수 있는 정보이론적 원리는 무엇인가?
• RQ3 제안된 엔트로피 기반 정규화가 경험베이즈 방법에서 기준 사전분포 개념을 어떻게 일반화하는가?
• RQ4 교차 엔트로피, 최소 차별정보 원리, 최대 페널티우도추정 간의 관계를 어떻게 수학적으로 정립할 수 있는가?
• RQ5 왜 이 맥락에서 기준 사전분포를 하이퍼사전분포로 사용한 정규화가 바람직하지 않은가?

주요 결과

• 제안된 엔트로피 기반 정규화 항은 재매개변수화 및 측정 변환에 대해 불변성을 보장하여 통계적 추론의 기본 원칙을 충족한다.
• 기준 사전분포를 정보이론적 프레임워크에 통합함으로써, 동치 모델 표현 방식 간의 일관성을 우선시하는 방식으로 일반화된다.
• 기준 사전분포를 하이퍼사전분포로 사용한 정규화가 제안된 엔트로피 기반 페널티만큼의 불변성 성질을 갖지 못함을 보여주며, 이는 열등함을 입증한다.
• NPMLE, 교차 엔트로피, 최소 차별정보 원리는 공식적으로 연결되며, 제안된 방법은 통합된 추론 프레임워크를 제공한다.
• 이중 스무딩된 최대우도추정기는 제안된 방법의 특수한 경우로 도출되어 이론적 일관성을 검증한다.
• 결과로 도출된 밀도 추정치는 매끄러운 해를 선호하고 과적합을 방지하면서도 불변성을 유지하며, 경험적 정규화 기법에 비해 원리에 기반한 보다 우수한 대안을 제공한다.