[논문 리뷰] Assigning a value to a power likelihood in a general Bayesian model

Chris Holmes, Stephen G. Walker|arXiv (Cornell University)|2017. 01. 30.

Statistical Methods and Inference참고 문헌 12인용 수 26

한 줄 요약

이 논문은 통계 모델이 잘못 지정된 경우 일반화된 베이지안 추론에서 힘 매개변수 $ w $ 를 보정하기 위한 일관적이고 정보 이론 기반의 방법을 제안한다. 표준 및 힘을 가진 우도 모델 하에서 사전과 사후 간의 사전 기대 정보 수신을 동일하게 설정함으로써, 이 방법은 일관된 학습을 보장하고 모델이 정확할 경우 자동으로 $ w=1 $ 으로 설정한다. $ w \neq 1 $ 은 모델 오지정을 나타내며, 이에 따라 학습 속도가 조정된다.

ABSTRACT

Bayesian approaches to data analysis and machine learning are widespread and popular as they provide intuitive yet rigorous axioms for learning from data; see Bernardo and Smith (2004) and Bishop (2006). However, this rigour comes with a caveat that the Bayesian model is a precise reflection of Nature. There has been a recent trend to address potential model misspecification by raising the likelihood function to a power, primarily for robustness reasons, though not exclusively. In this paper we provide a coherent specification of the power parameter once the Bayesian model has been specified in the absence of a perfect model.

연구 동기 및 목표

• 모델 오지정 문제를 다루기 위해, 가정된 우도가 진정한 데이터 생성 과정을 완벽하게 표현하지 못할 경우의 베이지안 추론에서의 문제를 해결한다.
• 일반화된 사후 분포 $ p_w(\theta|x) \propto f(x;\theta)^w p(\theta) $ 에서 힘 매개변수 $ w $ 에 대한 원칙적인 일관된 방법을 제공한다.
• 학습 속도를 $ w $ 를 통해 보정하여, 데이터로부터의 사전 기대 정보 수신이 정확히 지정된 모델 하에서와 동일하게 유지되도록 보장한다.
• 모델이 참이 아니더라도 베이지안 업데이트의 일관성을 유지하기 위해 로그우도를 손실 함수로 간주하고, 정보 이론 원리를 활용한다.

제안 방법

• 이 방법은 힘을 가진 우도 모델에서의 사전 기대 정보 수신 $ I_w(x) $ 를 표준 베이지안 모델에서의 사전 기대 정보 수신 $ I_1(x) $ 와 일치시킨다.
• 진짜 밀도 $ f_0(x) $ 와 모델 밀도 $ f(x;\theta) $ 간의 쿨백-라이블러 발산을 사용하여, 이 발산을 최소화하는 매개변수 $ \theta_0 $ 를 정의한다.
• 힘 매개변수 $ w $ 는 방정식 $ \int I_w(x) f_0(x) dx = \int I_1(x) f(x;\theta_0) dx $ 를 풀어 설정되며, 이는 양 모델 하에서 동일한 기대 정보 수신을 보장한다.
• 정보 수신은 사전과 사후 분포 간의 피셔 정보 거리로 측정되며, 정보의 지표로 제곱 스코어 함수를 사용한다.
• 모델 오지정 상황에서의 현실적인 추정을 위해, 관측된 데이터의 경험적 분포 $ F_n(x) $ 를 사용하여 $ (x,\theta) $ 의 공동 밀도를 추정하며, 가정된 $ f(x;\theta) $ 를 $ f(x;\widehat{\theta}) $ 로 대체한다.
• 힘을 가진 우도 하에서의 스코어 함수는 $ S_w(x,\theta) = w S(x,\theta) $ 이며, 양 모델 하에서 기대 제곱 스코어를 동일하게 설정함으로써 $ w $ 가 보정된다.

실험 결과

연구 질문

• RQ1 통계 모델이 오지정된 경우 일반화된 베이지안 추론에서 힘 매개변수 $ w $ 는 어떻게 공식적으로 보정할 수 있는가?
• RQ2 어떤 원칙이 $ w $ 의 선택이 진짜 데이터 생성 분포로부터 쿨백-라이블러 발산을 최소화하는 매개변수 $ \theta_0 $ 를 향한 일관된 학습을 보장하는가?
• RQ3 왜 표준 모델과 힘을 가진 모델 하에서 데이터로부터의 사전 기대 정보 수신이 동일해야 하는가?
• RQ4 모델 오지정의 맥락에서 사전과 사후 간의 피셔 정보 거리가 어떻게 의미 있는 정보 수신 측정치로 사용될 수 있는가?

주요 결과

• 모델가 정확히 지정된 경우 이 방법은 자동으로 $ w=1 $ 으로 설정하여 표준 베이지안 사후를 복원한다.
• 모델이 오지정된 경우 이 방법은 $ w \neq 1 $ 을 도출하여, 오지정 정도에 따라 학습 속도를 조정한다.
• 보정된 $ w $ 는 단일 관측치로부터의 사전 기대 정보 수신이 힘을 가진 모델과 표준 모델 하에서 동일하게 유지되도록 보장하여 일관성을 유지한다.
• 이 방법은 제곱 스코어 함수를 정보 수신의 척도로 사용하며, 이는 피셔 정보와 일관되며 관측된 데이터를 활용한 경험적 보정이 가능하다.
• 이 방법은 모델 오지정에 강건하며, 정보 수신을 모델 간에 일치시킴으로써 사후 불확실성의 과소 또는 과대 추정을 방지한다.
• 수치적 예시는 보정된 $ w $ 를 사용한 사후가 표준 베이지안 사후보다 진짜 모델 정밀도 하에서 얻은 사후에 더 가까운 것으로 나타났다.