[논문 리뷰] Penalising model component complexity: A principled, practical approach to constructing priors

Daniel Simpson, Håvard Rue외 3명|arXiv (Cornell University)|2014. 03. 18.

Bayesian Modeling and Causal Inference참고 문헌 103인용 수 24

한 줄 요약

이 논문은 계층적 베이지안 모형에서 기본적이고 객관적인 사전분포를 구성하기 위해 기본 모형에서의 이탈을 벌금으로 부과하는 방식으로, 보편적이고 원칙적인 프레임워크인 벌금부과 복잡도(PC) 사전분포를 제안한다. 이 방법은 사용자가 정의한 스케일링 파라미터를 통해 복잡도를 제어하며, 재매개변수화에 대해 불변성을 보장하고 제퍼리스의 사전분포와 연결되며 오카무의 날카로운 원칙을 지원한다. 이는 고차원 및 복잡한 모형에서 강력한 이론적·실험적 안정성을 보인다.

ABSTRACT

In this paper, we introduce a new concept for constructing prior distributions. We exploit the natural nested structure inherent to many model components, which defines the model component to be a flexible extension of a base model. Proper priors are defined to penalise the complexity induced by deviating from the simpler base model and are formulated after the input of a user-defined scaling parameter for that model component, both in the univariate and the multivariate case. These priors are invariant to reparameterisations, have a natural connection to Jeffreys' priors, are designed to support Occam's razor and seem to have excellent robustness properties, all which are highly desirable and allow us to use this approach to define default prior distributions. Through examples and theoretical results, we demonstrate the appropriateness of this approach and how it can be applied in various situations.

연구 동기 및 목표

• 전문 지식이 가용하지 않은 복잡한 계층적 베이지안 모형에서 원칙적이고 기본적인 사전분포의 부족을 해결하기 위해.
• 모형 복잡도를 벌금으로 처벌함으로써 더 단순한 모형을 선호하는 방식으로 오카무의 날카로운 원칙을 지원하는 프레임워크를 개발하기 위해.
• 재매개변수화에 대해 불변이면서 제퍼리스의 사전분포와 자연스럽게 연결되어 해석 가능하고 안정적인 사전분포를 만들기 위해.
• R-INLA와 같은 소프트웨어에서 기본 사전분포를 설정하는 데 유용하고, 임의적이거나 특수한 선택에 의존하는 것을 줄이기 위한 확장 가능한 실용적 방법을 제공하기 위해.
• 모형의 유연성에 대한 약한 정보가 반영된 단 하나의 사용자 정의 스케일링 파라미터를 사용하여 투명하고 해석 가능한 사전분포를 구성하기 위해.

제안 방법

• 모델의 중첩된 계층에서 가장 단순한 타당한 모형을 기본 모형으로 정의한다.
• 분산 측도(예: 킬비셰프-라이블러 발산)를 사용하여 모형 성분과 기본 모형 사이의 거리를 벌금으로 삼는 사전분포를 구성한다.
• 기본 모형에서의 기대 이탈을 제어하는 사용자 지정 스케일링 파라미터를 사용해 사전분포를 매개변수화한다.
• 모형의 자연 매개변수를 사용하고 정보 기하학을 활용하여 사전분포를 구성함으로써 재매개변수화에 대한 불변성을 확보한다.
• 복잡도 측도 위에 지수가족 분포로 사전분포를 유도함으로써 적절하고 객관적인 사전분포 사양을 보장한다.
• 기하학적 및 스펙트럼 분해를 통해 다변량 설정, 특히 상관계소수행렬과 정밀도행렬로의 확장을 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 계층적 모형에 대해 이해하기 쉽고 안정적인 기본적이고 객관적인 사전분포를 구성할 수 있는가?
• RQ2 어떤 원칙이 오카무의 날카로운 원칙을 지원하는 방식으로 더 단순한 모형을 자연스럽게 선호하는 사전분포를 구성하는 데 도움이 되는가?
• RQ3 어떻게 하면 사전분포를 재매개변수화에 대해 불변으로 유지하면서도 객관적이고 비정보적 사전분포를 원칙적으로 확보할 수 있는가?
• RQ4 사용자가 정의한 단일 스케일링 파라미터가 다양한 모형 성분에서 모형 복잡도를 효과적으로 제어할 수 있는가?
• RQ5 PC 사전분포는 질병 맵핑이나 잠재 가우시안 모형과 같은 고차원 또는 복잡한 설정에서 어떻게 성능을 발휘하는가?

주요 결과

• PC 사전분포는 재매개변수화에 대해 불변이며, 모형 매개변수화 방식에 관계없이 일관된 사전분포 사양을 보장한다.
• 사전분포는 제퍼리스의 사전분포와 자연스럽게 연결되어 있으며, 모형 복잡도를 벌금으로 처벌함으로써 오카무의 날카로운 원칙을 지원한다.
• 잠재 가우시안 모형과 같은 복잡한 모형에서도 기본 사전분포 사양을 지원하며, 강력한 이론적 근거를 지닌다.
• 실험 결과에 따르면, PC 사전분포는 약한 정보가 반영된 스케일링 파라미터를 사용하는 고차원 설정에서도 안정적인 사후 추론을 이끌어낸다.
• 이론적 분석을 통해 PC 사전분포는 적절한 사후분포를 생성하고, 정규 및 비정규 모형 모두에서 규칙적인 渐近적 행동을 보임을 확인했다.
• 희박한 고차원 모형에서는 스케일링 파라미터를 적절히 선택할 경우 PC 사전분포가 진짜 희박성 수준에 질량을 집중시킬 수 있음을 보여주었다.