[論文レビュー] Flexible Prior Elicitation via the Prior Predictive Distribution

Marcelo Hartmann, Georgi Agiashvili+2 more|arXiv (Cornell University)|Feb 23, 2020

Gaussian Processes and Bayesian Inference参考文献 34被引用数 9

ひとこと要約

この論文は、ベイesianモデリングにおける事前分布の同定に柔軟なフレームワークを提案する。その手法は、観察可能な結果にまで専門家の入力をシフトすることで、非観察可能なパラメータから事前予測分布へと移行する。事前予測分布を活用し、勾配ベースおよび勾配フリーの最適化手法を用いることで、妥当なデータ値に関する専門家の判断を、モデルパラメータ上の整合的で多次元の事前分布に変換する。これにより、複雑なモデルにおけるより直感的で正確な事前分布の指定が可能になる。

ABSTRACT

The prior distribution for the unknown model parameters plays a crucial role in the process of statistical inference based on Bayesian methods. However, specifying suitable priors is often difficult even when detailed prior knowledge is available in principle. The challenge is to express quantitative information in the form of a probability distribution. Prior elicitation addresses this question by extracting subjective information from an expert and transforming it into a valid prior. Most existing methods, however, require information to be provided on the unobservable parameters, whose effect on the data generating process is often complicated and hard to understand. We propose an alternative approach that only requires knowledge about the observable outcomes - knowledge which is often much easier for experts to provide. Building upon a principled statistical framework, our approach utilizes the prior predictive distribution implied by the model to automatically transform experts judgements about plausible outcome values to suitable priors on the parameters. We also provide computational strategies to perform inference and guidelines to facilitate practical use.

研究の動機と目的

• 専門家が非観察可能なモデルパラメータに不慣れである場合に、整合的な事前分布を指定する課題に対処すること。
• 事前分布同定をパラメータ空間から観察可能なデータ空間へとシフトさせ、専門家がより強いドメイン直感を持つ領域に移行させること。
• 専門家の判断を事前予測分布に基づいて、一変量および多次元の両方の事前分布を一般化され、計算的に実行可能な方法で同定するための手法を開発すること。
• この手法を実用的なベイesianワークフローに統合し、階層モデルおよび一般化線形モデルをサポートすること。
• 実世界の例（例えば、人間の成長モデル）を通じて手法を検証し、専門家の信念と一致する事前分布の向上を示すこと。

提案手法

• この手法は、専門家の知識を同定する基盤として事前予測分布を用い、専門家が抽象的なパラメータではなく、妥当な観察可能な結果についての信念を表現できるようにする。
• 事前分布同定問題を、専門家が同定した確率が事前予測分布上で最も一致するようにハイパーパラメータを特定する最適化問題として定式化する。
• 解析的勾配を連鎖律および条件付き期待値から導出することで、勾配ベースの最適化を用い、効率的な推論を可能にする。
• 勾配が計算不能なモデルに対しては、ベイズ最適化やNelder-Mead法などの勾配フリー最適化をサポートし、ハイパーパラメータを推定する。
• 専門家の判断における不確実性をモデル化するためのパラメータαを導入し、同定確率に対する信頼度の柔軟なキャリブレーションを可能にする。
• 階層的構造と条件付き分布を用いたモデリングにより、依存関係を表現することで、一変量および多次元の事前分布同定を両方可能にする。

実験結果

リサーチクエスチョン

• RQ1 専門家の入力をモデルパラメータから観察可能なデータ結果へとシフトさせることで、事前分布同定をより直感的かつ正確に行えるか？
• RQ2 事前予測判断における専門家の不確実性を形式的にモデル化し、事前分布指定プロセスに統合する方法は何か？
• RQ3 複雑なベイesianモデルにおける多次元事前分布の効率的かつスケーラブルな同定を可能にする計算戦略は何か？
• RQ4 事前予測分布を用いることで、専門家の信念と得られる事前分布との一致度がどの程度向上するか？
• RQ5 この手法は、確率的プログラミング言語を用いた既存のベイesianモデリングワークフローにどのように実装可能か？

主な発見

• 事前予測分布を活用することで、高次元設定においても、専門家のデータに関する判断を整合的で多次元の事前分布に変換することができた。
• 人間の成長モデルの事例研究で、専門家は抽象的なモデルパラメータよりも観察可能なデータ結果についての信念を表現しやすかった。
• このアプローチは、一変量および多次元の事前分布同定を両方可能にし、条件付き依存関係を構造化してモデリングすることで、中程度の次元数まで実用的であることが示された。
• 勾配ベースの最適化は、特にハイパーパラメータが多数存在するモデルにおいて、勾配フリーの代替手法よりも計算効率が著しく向上した。
• 信頼度パラメータαの導入により、専門家の判断における不確実性をモデル化でき、同定された事前分布のロバスト性と現実性が向上した。
• この手法は、brmsなどの既存のベイesianモデリングツールと互換性があり、実世界の応用における実用的導入を可能にした。