[논문 리뷰] Parameter estimation with a class of outer probability measures

Jérémie Houssineau|arXiv (Cornell University)|2018. 01. 02.

Bayesian Modeling and Causal Inference참고 문헌 44인용 수 7

한 줄 요약

이 논문은 외측 확률 측도(outer probability measures, o.p.m.s)를 사용하여 랜덤 불확실성과 결정론적 불확실성을 통합하는 새로운 통계적 프레임워크를 제안한다. 이는 복잡한 모델에서 강력한 매개변수 추정을 가능하게 한다. 확률 적분을 최대값 연산으로 대체하고 가능도 함수를 사전으로 간주함으로써 베이지안 추론을 일반화하면서도 핵심 확률적 성질을 유지하며, 부적절한 사전 분포의 문제를 해결하고 기계학습 및 신호 처리 분야에서의 확장성을 향상시킨다.

ABSTRACT

We explore the interplay between random and deterministic phenomena using a representation of uncertainty based on the measure-theoretic concept of outer measure. The meaning of the analogues of different probabilistic concepts is investigated and examples of application are given. The novelty of this article lies mainly in the suitability of the tools introduced for jointly representing random and deterministic uncertainty. These tools are shown to yield intuitive results in simple situations and to generalise easily to more complex cases. Connections with Dempster-Shafer theory, the empirical Bayes methods and generalised Bayesian inference are also highlighted.

연구 동기 및 목표

• 외측 측도를 사용하여 랜덤 불확실성과 결정론적 불확실성을 통합하는 원칙적인 통계적 프레임워크를 개발하는 것.
• 특히 부적절한 사전 분포와 초모수에 대한 정보 부족 문제로 인해 제한되는 표준 베이지안 추론의 문제점을 해결하는 것.
• 통일된 측도 이론적 구조 내에서 경험 베이지안 및 일반화된 베이지안 추론을 일반화하는 것.
• 기계학습 및 복잡한 통계 모델에서의 불확실성 정량화를 위한 직관적이고 확장 가능한 도구를 제공하는 것.

제안 방법

• 논문은 고정되어 있지만 알려지지 않은 매개변수를 나타내기 위해 불확실한 변수를 도입하며, 이는 외측 확률 측도(o.p.m.s)로 모델링되며, 가환성 조건을 완화한다.
• 가능도 함수는 비음수 함수이며 최대값이 1인 함수로 정의되며, 결정론적 불확실성을 표현하는 데 사용된다.
• 프레임워크는 확률 적분을 최대값 연산으로 대체하여, p(φ)가 θ ∈ Θ 에서의 sup φ(θ)로 변환된다.
• 추론을 위해 논문은 o.p.m.s를 사용하여 최대 혼합 규칙(max-mixture rules)을 통해 사후 분포를 정의한다. 예를 들어, f_θ̃(0)=α, f_θ̃(1)=β 일 때, p_X(φ|X=θ̃) = [α(1−p)φ(0) + βpφ(1)] / [α(1−p) + βp] 로 표현된다.
• 불확실성의 두 가지 순서를 구분한다: 먼저 θ̃를 고려하고 나서 X를 고려하는 경우, 그리고 반대로 X를 먼저 고려하고 나서 θ̃를 고려하는 경우로, 이에 따라 서로 다른 o.p.m. 표현식이 도출된다.
• 이 방법은 덴스터-셰이퍼 이론과 경험 베이지안 추론을 일반화하며, 일반화된 베이지안 추론과의 연결 고리를 보여준다.

실험 결과

연구 질문

• RQ1 정보 부족으로 인해 발생하는 결정론적 불확실성은 통계적 추론 프레임워크 내에서 어떻게 엄밀하게 모델링할 수 있는가?
• RQ2 외측 확률 측도는 비가환 표현 방식을 允허하면서도, 베이지안 추론의 핵심 성질을 유지할 수 있는가?
• RQ3 표준 베이지안 방법이 부적절한 사전 분포나 정보 없는 데이터로 인해 실패하는 경우, 제안된 프레임워크는 어떻게 대처하는가?
• RQ4 가능도 함수가 사전으로 사용될 때 매개변수 추정에 미치는 역할은 무엇이며, 기존의 확률 분포와 비교해 볼 때 어떤가?
• RQ5 이 프레임워크는 기계학습 및 신호 처리 분야에서 복잡한 모델의 확장성과 강건성을 어떻게 향상시키는가?

주요 결과

• 프레임워크는 표준 확률 이론이 실패하는 비가환 표현 방식을 허용하면서도, 외측 확률 측도를 사용하여 결정론적 불확실성을 성공적으로 모델링한다.
• 가능도 함수가 모든 θ 에 대해 최대값이 1인 무정보적 형태일 경우, o.p.m. 프레임워크 하에서 사후 분포는 사전과 동일해지며, 데이터로부터의 정보 증가는 없음을 반영한다.
• 무정보적 θ̃를 가진 공정한 동전의 경우, 사후 o.p.m. 는 P_θ̃(φ|X=θ̃) = P_θ̃(φ) 를 만족하며, X=θ̃ 가 정보를 제공하지 않음을 확인한다.
• 정보가 있는 가능도 함수를 가진 비대칭 동전의 경우, 사후 o.p.m. 는 최대 혼합 규칙을 도출하며, 예를 들어 P_θ̃(φ|X=θ̃) = [max{α(1−p)φ(0), βpφ(1)}] / [max{α(1−p), βp}] 와 같이 직관적인 행동을 유지한다.
• 프레임워크는 경험 베이지안 및 일반화된 베이지안 추론을 일반화하며, 이러한 방법들이 o.p.m. 구조에서 자연스럽게 유도됨을 보여준다.
• 이 방법은 부적절한 사전 분포와 정보 부족 상황을 원칙적으로 다룰 수 있으며, 표준 베이지안 방법의 수학적 오류를 피한다.