[논문 리뷰] Statistical models, likelihood, penalized likelihood and hierarchical likelihood

Daniel Commenges|ArXiv.org|2008. 08. 29.

Advanced Statistical Methods and Models참고 문헌 26인용 수 3

한 줄 요약

이 논문은 통계에서 우도 추론의 기초적인 개요를 제공하며, 전통적, 펨프니제이션된, 계층적인 우도 방법에 중점을 둔다. 이들은 쿨리블랙-라이블러 발산과의 연결을 수립하고, 페널티 우도와 시브 추정기 사이의 등가성을 보여주며, 베이지안 MAP 추정과의 관계를 탐구한다. 특히 이러한 식별에서 매개변수화 불변성의 과제를 강조한다.

ABSTRACT

We give an overview of statistical models and likelihood, together with two of its variants: penalized and hierarchical likelihood. The Kullback-Leibler divergence is referred to repeatedly, for defining the misspecification risk of a model, for grounding the likelihood and the likelihood crossvalidation which can be used for choosing weights in penalized likelihood. Families of penalized likelihood and sieves estimators are shown to be equivalent. The similarity of these likelihood with a posteriori distributions in a Bayesian approach is considered.

연구 동기 및 목표

• 통계 모형과 우도의 이론적 기초를 명확히 하여 쿨리블랙-라이블러 발산과의 관계를 다루는 것.
• 페널티 우도가 부드러움 제약 조건을 도입하는 역할를 수행하고, 이와 시브 추정기 사이의 등가성을 탐구하는 것.
• 우도 기반 추론과 베이지안 MAP 추정 간의 관계를 탐구하며, 특히 매개변수화 불변성에 초점을 맞추는 것.
• 모형 및 추정기 선택을 위한 우도 교차검증과 AIC 유사 기준의 평가

제안 방법

• 시그마-필드를 명시적으로 고려하는 확장된 쿨리블랙-라이블러 발산 공식을 사용하여, 이와 모형 잘못설정 위험과 연결한다.
• 라돈-니코디움 미분과 조건부 기대값의 관점에서 우도와 페널티 우도를 정의한다.
• 기능적 근사 기반으로 페널티 우도 추정기의 가족과 시브 추정기 사이의 등가성을 입증한다.
• 우도 교차검증과 AIC 유사 기준을 사용하여 쿨리블랙-라이블러 위험을 추정하며, 진짜 분포 하의 기대값을 경험 기대값으로 대체한다.
• 특정 사전 분포 하에서 최대 우도 추정기와 페널티 우도 추정기를 MAP 추정기로 식별하는 것을 탐구한다. 특히 평탄한 사전과 제프레이나 사전을 중심으로 한다.
• MAP 추정기가 재매개변수화에 대해 불변이 아니라는 점을 강조하여, 페널티 우도와 베이지안 MAP 간의 직접적 등가성을 의심하게 한다.

실험 결과

연구 질문

• RQ1 쿨리블랙-라이블러 발산은 통계 모형과 우도 기반 추정기의 위험 평가에 어떻게 기초가 되는가?
• RQ2 페널티 우도와 시브 추정기 사이의 수학적 및 개념적 등가성은 무엇인가?
• RQ3 최대 페널티 우도 추정기는 MAP 추정기로 해석될 수 있는가? 이러한 해석의 한계는 무엇인가?
• RQ4 우도 교차검증을 사용하여 쿨리블랙-라이블러 위험 기반으로 최적의 추정기나 모형을 선택하는 방법은 무엇인가?
• RQ5 매개변수화 의존성은 우도 기반 추정기를 베이지안 MAP 추정기로 식별하는 데 어떤 영향을 미치는가?

주요 결과

• 페널티 우도 추정기와 시브 추정기의 가족은 등가성을 이루며, 비모수적 스무딩과 정규화 사이의 이론적 다리를 쌓는다.
• 쿨리블랙-라이블러 발산은 최대 우도 추정, AIC, 우도 교차검증의 기본 위험 측도로 기능한다.
• 우도 교차검증은 진짜 기대값을 경험 분포로 대체함으로써 쿨리블랙-라이블러 위험을 추정할 수 있으며, 이는 실용적인 모형 선택을 가능하게 한다.
• 최대 페널티 우도 추정기는 특정 사전 분포 하에서 MAP 추정기로 해석될 수 있지만, 이 등가성은 재매개변수화에서 붕괴된다. 이는 비불변 사전 분포 때문이기 때문이다.
• 제프레이나 사전은 재매개변수화에 대해 불변이지만, MAP 추정치를 MLE에서 멀어지게 하므로, 평탄한 사전과 MLE는 매개변수화 변화 하에서 등가가 아님을 보여준다.
• 논문은 우도 추정기와 베이지안 MAP 추정기 사이에 밀접한 관계가 있음에도 불구하고, 재매개변수화에 대한 불변성 부족으로 인해 이들의 식별력이 제한됨을 결론으로 내린다.