[논문 리뷰] Modification of Bayesian Updating where Continuous Parameters have Differing Relationships with New and Existing Data

Nicholas Lewis|arXiv (Cornell University)|2013. 08. 13.

Statistical Methods and Bayesian Inference참고 문헌 9인용 수 4

한 줄 요약

이 논문은 연속적 파라미터가 기존 데이터와 새로운 데이터에 대해 다르게 관련될 때 발생하는 모순을 해결하는 개선된 베이지안 업데이트 방법을 제안한다. 특히 비정보적 사전분포 하에서 발생하는 문제를 다룬다. 베이즈 정리의 단일 적용을 통해 사전분포와 우도 함수를 동시에 업데이트함으로써, 데이터 순서에 관계없이 객관적인 추론을 보장하며, 수치적 실험 결과로 우수한 확률 매칭 성능을 입증한다.

ABSTRACT

Bayesian analyses are often performed using so-called noninformative priors, with a view to achieving objective inference about unknown parameters on which available data depends. Noninformative priors depend on the relationship of the data to the parameters over the sample space. Combining Bayesian updating - multiplying an existing posterior density for parameters being estimated by a likelihood function derived from independent new data that depend on those parameters and renormalizing - with use of noninformative priors gives rise to inconsistency where existing and new data depend on continuous parameters in different ways. In such cases, noninformative priors for inference from only the existing and from only the new data would differ, so Bayesian updating would give different final posterior densities depending on which set of data was used to derive an initial posterior and which was used to update that posterior. I propose a revised Bayesian updating method, which resolves this inconsistency by updating the prior as well as the likelihood function, and involves only a single application of Bayes' theorem. The revised method is also applicable where actual prior information as to parameter values exists and inference that objectively reflects the existing information as well as new data is sought. I demonstrate by numerical testing the probability-matching superiority of the proposed revised updating method, in two cases.

연구 동기 및 목표

• 기존 데이터와 새로운 데이터가 연속적 파라미터와 다른 방식으로 관련될 때 발생하는 베이지안 업데이트의 불일치 문제를 해결하기 위해.
• 기존 데이터와 새로운 데이터를 별도로 고려할 때 비정보적 사전분포가 유도하는 후행분포가 다를 수 있는 문제를 해결하기 위해.
• 데이터 처리 순서에 관계없이 객관성과 일관성을 유지하는 통합된 업데이트 절차를 개발하기 위해.
• 실제 사전 정보가 존재하는 경우에도 적용 가능하도록 방법을 확장하여, 사전 지식과 새로운 데이터로부터 일관된 추론을 보장하기 위해.
• 수차례 실험을 통해 개선된 방법이 베이지안 추론에서 확률 매칭 성능을 향상시킨다는 것을 실증적으로 입증하기 위해.

제안 방법

• 표준 베이지안 업데이트를 개선하기 위해, 후행분포를 새로운 사전분포로 간주하는 대신, 사전분포와 우도 함수를 동시에 업데이트하는 방식을 채택한다.
• 기존 데이터와 새로운 데이터의 관계를 반영하는 방식으로, 동시에 두 데이터 세트를 포함하는 공동 우도 함수를 사용하여 베이즈 정리를 단 한 번만 적용한다.
• 기존 데이터 세트와 새로운 데이터 세트에서 파라미터-데이터 관계가 다를 수 있음을 고려하여 수정된 우도 함수를 사용한다.
• 결과로 도출된 후행분포가 데이터 세트 처리 순서에 영향을 받지 않음을 보장함으로써, 불일치를 제거한다.
• 비정보적 사전분포뿐 아니라 약한 정보를 가진 사전분포에도 적용 가능하여 객관적 추론을 지원한다.
• 통계적 의사결정 이론에 기반하여, 빈도주의적 확률 매칭 성질을 유지하는 것을 목표로 한다.

실험 결과

연구 질문

• RQ1 기존 데이터와 새로운 데이터가 연속적 파라미터와 다른 방식으로 관련될 때, 어떻게 베이지안 업데이트를 수정하여 일관성을 확보할 수 있는가?
• RQ2 순차적 업데이트에서 기존 데이터와 새로운 데이터의 파라미터-데이터 관계가 다를 경우, 비정보적 사전분포 선택에 어떤 영향을 미치는가?
• RQ3 단일 응용을 통해 사전분포와 우도 함수를 동시에 업데이트할 수 있는가? 이 방식이 객관적 추론을 유지하는가?
• RQ4 비대칭적 데이터-파라미터 관계가 존재할 경우, 개선된 방법이 표준 베이지안 업데이트보다 확률 매칭 성능을 향상시키는가?
• RQ5 실제 사전 정보가 존재할 경우, 새로운 데이터와 함께 이 방법은 어떻게 작동하는가?

주요 결과

• 개선된 베이지안 업데이트 방법은 기존 데이터와 새로운 데이터가 연속적 파라미터와 다른 방식으로 관련될 때 발생하는 후행분포의 불일치 문제를 해결한다.
• 이 방법은 최종 후행분포가 데이터 처리 순서에 영향을 받지 않음을 보장하여, 임의의 데이터 순서에 대한 의존성을 제거한다.
• 수치 실험 결과로, 두 테스트 케이스에서 표준 베이지안 업데이트보다 개선된 방법이 훨씬 뛰어난 확률 매칭 성능을 보인다.
• 확률 매칭 향상은 정량적으로 유의미하여, 신뢰구간의 빈도주의적 커버리지 성질이 향상됨을 시사한다.
• 파라미터에 대한 사전 정보가 존재하는 경우에도 이 방법은 유효하고 일관성 있게 유지되며, 추론의 객관성을 유지한다.
• 이 방법은 이질적인 파라미터 의존성 구조를 포함하는 복잡한 데이터 시나리오에서 표준 베이지안 업데이트의 원칙적인 대안을 제공한다.