[论文解读] Flexible Prior Elicitation via the Prior Predictive Distribution

Marcelo Hartmann, Georgi Agiashvili+2 more|arXiv (Cornell University)|Feb 23, 2020

Gaussian Processes and Bayesian Inference参考文献 34被引用 9

一句话总结

本文提出了一种灵活的贝叶斯建模先验获取框架，通过先验预测分布将专家输入从不可观测的参数转移到可观测的结果上。通过利用先验预测分布并结合优化技术——包括基于梯度和无梯度的方法——该方法将专家对合理数据值的判断转化为模型参数上一致的多元先验，从而在复杂模型中实现更直观且准确的先验设定。

ABSTRACT

The prior distribution for the unknown model parameters plays a crucial role in the process of statistical inference based on Bayesian methods. However, specifying suitable priors is often difficult even when detailed prior knowledge is available in principle. The challenge is to express quantitative information in the form of a probability distribution. Prior elicitation addresses this question by extracting subjective information from an expert and transforming it into a valid prior. Most existing methods, however, require information to be provided on the unobservable parameters, whose effect on the data generating process is often complicated and hard to understand. We propose an alternative approach that only requires knowledge about the observable outcomes - knowledge which is often much easier for experts to provide. Building upon a principled statistical framework, our approach utilizes the prior predictive distribution implied by the model to automatically transform experts judgements about plausible outcome values to suitable priors on the parameters. We also provide computational strategies to perform inference and guidelines to facilitate practical use.

研究动机与目标

• 为解决专家不熟悉不可观测模型参数时，难以在贝叶斯建模中指定一致先验的问题。
• 将先验获取从参数空间转移到可观测数据空间，因为专家在该空间中具有更强的领域直觉。
• 开发一种通用且计算可行的方法，利用专家对先验预测分布的判断，获取单变量和多元先验。
• 将该方法整合到实际的贝叶斯工作流中，支持分层模型和广义线性模型。
• 通过真实世界案例（包括一个人类生长模型）验证该方法，证明其能更好地与专家信念保持一致。

提出的方法

• 该方法以先验预测分布为基础获取专家知识，使专家能够表达对合理可观测结果的信念，而非抽象的参数。
• 将先验获取问题形式化为优化任务，以寻找最匹配专家所获取的先验预测分布概率的超参数。
• 该方法采用基于梯度的优化，利用链式法则和条件期望推导出的解析梯度，实现高效推断。
• 对于梯度难以计算的模型，支持无梯度优化（如贝叶斯优化、Nelder-Mead）以估计超参数。
• 引入参数 α 以建模专家判断中的不确定性，从而灵活校准对所获取概率的信心程度。
• 通过分层结构和条件分布建模依赖关系，该方法支持单变量和多元先验获取。

实验结果

研究问题

• RQ1 通过将专家输入从模型参数转移到可观测数据结果，是否能更直观且更准确地实现先验获取？
• RQ2 如何正式建模并整合专家在先验预测判断中的不确定性到先验设定过程中？
• RQ3 哪些计算策略能够实现复杂贝叶斯模型中多元先验的高效且可扩展的获取？
• RQ4 使用先验预测分布在多大程度上能提升专家信念与最终先验分布之间的一致性？
• RQ5 该方法如何实际集成到现有贝叶斯建模工作流中，例如使用概率编程语言的场景？

主要发现

• 通过利用先验预测分布，该方法成功地将专家对可观测数据的判断转化为一致的多元先验，即使在高维设置下也有效。
• 在一个人类生长模型的案例研究中，专家表示更易于表达对数据结果的信念，而非对抽象模型参数的信念。
• 该方法支持单变量和多元先验获取，后者通过条件依赖关系的结构化建模，在中等维度下依然可行。
• 与无梯度方法相比，基于梯度的优化显著提升了计算效率，尤其在超参数较多的模型中表现更优。
• 引入信心参数 α 使得专家判断中的不确定性得以建模，从而增强了所获取先验的稳健性与现实性。
• 该方法与现有贝叶斯建模工具（如 brms）兼容，支持在真实应用场景中的实际部署。