[論文レビュー] Parameter estimation with a class of outer probability measures

Jérémie Houssineau|arXiv (Cornell University)|Jan 2, 2018

Bayesian Modeling and Causal Inference参考文献 44被引用数 7

ひとこと要約

本稿は、外確率測度（o.p.m.s）を用いて確率的および決定的不確実性を統一する、革新的な統計枠組みを導入する。これにより、複雑なモデルにおける頑健なパラメータ推定が可能になる。確率積分を上界作用素に置き換え、可能性関数を事前分布として扱うことで、ベイズ推論を一般化しつつ、重要な確率的性質を保持する。不適切な事前分布に対する原理的代替手段を提供し、機械学習および信号処理におけるスケーラビリティを向上させる。

ABSTRACT

We explore the interplay between random and deterministic phenomena using a representation of uncertainty based on the measure-theoretic concept of outer measure. The meaning of the analogues of different probabilistic concepts is investigated and examples of application are given. The novelty of this article lies mainly in the suitability of the tools introduced for jointly representing random and deterministic uncertainty. These tools are shown to yield intuitive results in simple situations and to generalise easily to more complex cases. Connections with Dempster-Shafer theory, the empirical Bayes methods and generalised Bayesian inference are also highlighted.

研究の動機と目的

• 外測度を用いて確率的および決定的不確実性を統合する原理的統計枠組みの構築。
• 特に不適切な事前分布やハイパーパrameterに関する情報不足に起因する、標準的ベイズ推論の限界の解消。
• 測度論的構造に基づく統一的枠組み内で、経験的ベイズおよび一般化ベイズ推論を一般化すること。
• 機械学習および複雑な統計モデルにおける不確実性評価のための直感的かつスケーラブルなツールの提供。

提案手法

• 固定されながらも未知のパラメータを表現するための不確実変数を導入。これらは加法性を緩和した外確率測度（o.p.m.s）によってモデル化される。
• 可能性関数を、上界が1である非負関数として定義し、決定的不確実性を表現する。
• 確率積分を上界作用素に置き換えることで、p(φ)がθ ∈ Θの上でのφ(θ)の上界 sup に置き換えられる。
• 推論のために、o.p.m.sを用いてmax-混合則による事後分布を定義する。例えば、f_θ̃(0)=α、f_θ̃(1)=β のとき、p_X(φ|X=θ̃) = [α(1−p)φ(0) + βpφ(1)] / [α(1−p) + βp] となる。
• 不確実性の2つの順序を区別する：θ̃ が先に、次に X が来る場合、および X が先に、次に θ̃ が来る場合。これにより、異なる o.p.m. の定式化が得られる。
• 本手法は、デムプスター＝シャーマー理論および経験的ベイズを一般化しており、一般化ベイズ推論とも関連している。

実験結果

リサーチクエスチョン

• RQ1 情報不足に起因する決定的不確実性は、統計的推論枠組み内でどのように厳密にモデル化できるか？
• RQ2 外確率測度は、標準的確率論に反する非加法的表現を許容しつつも、ベイズ推論の主要な性質を保持できるか？
• RQ3 標準的ベイズ手法が不適切な事前分布や情報のないデータのため失敗する状況において、本枠組みはどのように対処するか？
• RQ4 可能性関数を事前分布として用いる場合、パラメータ推定に与える役割は何か？また、標準的確率分布と比べてどのように異なるか？
• RQ5 本枠組みは、特に機械学習および信号処理分野において、スケーラビリティと頑健性をどのように向上させるか？

主な発見

• 本枠組みは、外確率測度を用いて決定的不確実性を効果的にモデル化でき、標準的確率論が失敗する非加法的表現に対応できる。
• 可能性関数がすべてのθに対して上界が1（情報が全くない状態）の場合、o.p.m.枠組みにおける事後分布は事前分布と同一となり、データからの情報量の増加がないことを反映する。
• 情報のないθ̃を有する公平なコインの場合、事後o.p.m.はP_θ̃(φ|X=θ̃) = P_θ̃(φ)を満たし、X=θ̃が情報を持たないことを確認する。
• 情報のある可能性関数を有する偏りのあるコインの場合、事後o.p.m.はmax-混合則を導き、直感的な振る舞いを保つ。例えば、P_θ̃(φ|X=θ̃) = [max{α(1−p)φ(0), βpφ(1)}] / [max{α(1−p), βp}] となる。
• 本枠組みは、経験的ベイズおよび一般化ベイズ推論を一般化しており、これらの手法がo.p.m.構造から自然に導かれることが示された。
• 本手法は、不適切な事前分布や情報欠如の状況を原理的かつ適切に扱える。標準的ベイズ手法の数学的落とし穴を回避する。