[論文レビュー] Combining probability distributions: Extending the logarithmic pooling approach

Luiz Max Carvalho, Daniel Antunes Maciel Villela+2 more|arXiv (Cornell University)|Feb 14, 2015

COVID-19 epidemiological studies参考文献 40被引用数 4

ひとこと要約

この論文は、データから専門家重みを学ぶための階層ベイズ的手法を導入することで、確率分布の組み合わせにための対数平均化を拡張し、不確実性の定量化と事前分布とデータの矛盾の解消を可能にする。生存分析、メタアナリシス、疫病モデルのベイズ的統合の文脈で、重みに階層的事前分布を導入することで、頑健性と適応性が向上することを示している。

ABSTRACT

Combining distributions is an important issue in decision theory and Bayesian inference. Logarithmic pooling is a popular method to aggregate expert opinions by using a set of weights that reflect the reliability of each information source. However, the resulting pooled distribution depends heavily on set of weights given to each opinion/prior and thus careful consideration must be given to the choice of weights. In this paper we review and extend the statistical theory of logarithmic pooling, focusing on the assignment of the weights using a hierarchical prior distribution. We explore several statistical applications, such as the estimation of survival probabilities, meta-analysis and Bayesian melding of deterministic models of population growth and epidemics. We show that it is possible learn the weights from data, although identifiability issues may arise for some configurations of priors and data. Furthermore, we show how the hierarchical approach leads to posterior distributions that are able to accommodate prior-data conflict in complex models.

研究の動機と目的

• 専門家の信頼性が不確実な状況において、確率分布の組み合わせにおける専門家意見への信頼性のある重みを割り当てる課題に対処すること。
• 固定または最適性に基づく重み割り当ての限界を克服し、専門家の信頼性における不確実性を階層ベイズモデルで組み込むこと。
• データ駆動型の重み学習を可能にし、事前分布とデータの矛盾が生じ得る複雑なモデルにおけるコンSENSUS形成を改善すること。
• 生存確率推定やベイズ的統合の応用例において、階層的対数平均化の実用的有用性を示すこと。
• 重みに階層的事前分布を用いることの理論的・実証的妥当性を提示し、意見の組み合わせにおける一貫性と柔軟性を維持すること。

提案手法

• 専門家意見を密度関数の重み付き幾何平均で組み合わせる対数平均化を用いる：$\pi(\theta|\boldsymbol{\alpha}) = t(\boldsymbol{\alpha}) \prod_{i=0}^{K} f_i(\theta)^{\alpha_i}$、ここで$t(\boldsymbol{\alpha})$は正規化を保証する。
• 重みベクトル$\boldsymbol{\alpha}$に階層的事前分布を導入し、ベイズ推論を用いてデータから重みを学習可能にする。
• 生存分析、メタアナリシス、決定論的モデルのベイズ的統合の文脈で、重みの推定に階層モデルを適用する。
• 対数凹型の成分分布が与えられれば、組み合わせられた分布も対数凹型であるという性質を活用し、スライスサンプリングや変分法による効率的なサンプリングを可能にする。
• 重みの事後分布を用いて、特にベイズ的統合の応用で、事前分布と観測データの矛盾を検出し、それを受け入れる。
• 点推定法（例：エントロピー最大化、KL発散最小化）と比較し、重みの完全な事後分布推論の利点を強調する。

実験結果

リサーチクエスチョン

• RQ1 専門家の意見の組み合わせを、事前に固定するのではなく、信頼性の重みをデータから学習することで、データに適応可能な形にできるか？
• RQ2 対数平均化における重みに階層的事前分布を割り当てる理論的・実用的意味は何か？
• RQ3 エピデミック成長モデルのような複雑なモデルにおいて、階層的重み付けが事前分布とデータの矛盾に対する頑健性をどのように向上させるか？
• RQ4 組み合わせられた分布の対数凹型性が、高次元設定における計算効率とサンプリングに与える影響は何か？
• RQ5 エントロピー最大化やKL発散最小化といった点推定法と比較して、階層的対数平均化は一貫性および不確実性の定量化の観点で優れているか？

主な発見

• 階層的事前分布アプローチにより、重みがデータから学習可能となり、新たな証拠が得られるたびに専門家の信頼性の順次更新が可能になる。
• すべての個別専門家分布が対数凹型であれば、組み合わせられた分布も対数凹型のままであり、MCMC や変分推論における計算的利点が維持される。
• 事前分布と観測データが矛盾する専門家を、特にベイズ的統合の応用で重みを小さくすることで、事前分布とデータの矛盾を効果的に解消する。
• すべての専門家の意見にゼロでない確率を割り当てることで、Cromwellの法則に反することなく、たとえ一部の意見が不確かであっても、すべての意見を考慮する。
• 生存分析やメタアナリシスにおける実証的応用では、固定重み法と比較して、階層的平均化がより一貫性があり頑健な事後分布推論をもたらす。
• 点推定による重み割り当ての代替として、原理的かつ整合的な枠組みを提供し、重みの完全な事後分布推論と、より優れた不確実性の定量化を実現する。