[論文レビュー] Better together? Statistical learning in models made of modules

Pierre Jacob, Lawrence M. Murray+2 more|arXiv (Cornell University)|Aug 29, 2017

Gaussian Processes and Bayesian Inference参考文献 1被引用数 45

ひとこと要約

この論文は、モデルの不適合が存在する状況において、完全ベイジアンモデルとモジュラー手法の間で選択するための意思決定理論的枠組みを提案する。予測スコアと重要度サンプリングを用いることで、モジュール間のフィードバックをカットすることで推論が改善されるかを評価し、コンポONENTが不適合である場合にモジュラー手法がしばしば完全モデルを上回ることを示している。

ABSTRACT

In modern applications, statisticians are faced with integrating heterogeneous data modalities relevant for an inference, prediction, or decision problem. In such circumstances, it is convenient to use a graphical model to represent the statistical dependencies, via a set of connected "modules", each relating to a specific data modality, and drawing on specific domain expertise in their development. In principle, given data, the conventional statistical update then allows for coherent uncertainty quantification and information propagation through and across the modules. However, misspecification of any module can contaminate the estimate and update of others, often in unpredictable ways. In various settings, particularly when certain modules are trusted more than others, practitioners have preferred to avoid learning with the full model in favor of approaches that restrict the information propagation between modules, for example by restricting propagation to only particular directions along the edges of the graph. In this article, we investigate why these modular approaches might be preferable to the full model in misspecified settings. We propose principled criteria to choose between modular and full-model approaches. The question arises in many applied settings, including large stochastic dynamical systems, meta-analysis, epidemiological models, air pollution models, pharmacokinetics-pharmacodynamics, and causal inference with propensity scores.

研究の動機と目的

• モジュラー統計モデルにおけるモデル不適合の課題に取り組むこと。ここでは、1つのモジュールに誤りがあると、他のモジュールの推論が汚染される。
• フィードバックの制限を加えた完全モデルとモジュラー手法の間で、原理的かつデータ駆動的な方法で選択するための手法を開発すること。
• 相互に接続されたモジュールから構成されるグラフィカルモデルにおいて、誤差伝搬と不適合に対するロバストネスのトレードオフを形式化すること。
• 予測スコアと重要度サンプリングを用いた、計算的に実行可能なモジュラー推論の評価手法を提供すること。
• 完全事後分布の計算が、 poorly-specified モジュールからのフィードバックによって困難になる状況へのベイジアン推論の拡張

提案手法

• 将来のデータの周辺尤度の対数を予測スコアとして用い、カット分布からのサンプルを用いてモデルの性能を評価する。
• 最初のモジュールの事後分布からのサンプルを提案分布として用い、重要度サンプリングによりフィードバックが弱い場合の完全事後分布の近似を可能にする。
• 2段階の推論手順を導入：まず最初のモジュールのカット分布からサンプリングし、次にそれらのサンプルを用いて重要度重み付けにより完全事後分布を近似する。
• データの順序を工夫して予測スコアを計算し、観測順序への感受性を低減するための順列平均化を実施する。
• 予測精度とロバストネスに基づいて、完全モデルとモジュラーモデルの間で選択する意思決定理論的基準を適応する。
• 完全事後分布への直接MCMCを避けることで、フィードバック項の計算が困難な状況に対処し、代わりに最初のモジュールからの事前サンプル分布に依存する。

実験結果

リサーチクエスチョン

• RQ1 モデル不適合が存在する状況において、モジュール間のフィードバックを制限するモジュラー手法が、完全ベイジアンモデルを上回る状況はどのようなときか？
• RQ2 原理的かつ意思決定理論的枠組みで、モジュラー手法と完全モデルの予測性能を正式に評価・比較する方法は何か？
• RQ3 2番目のモジュールからのフィードバックが強く、計算が困難な状況において、完全事後分布を正確に近似するための計算戦略は何か？
• RQ4 データ駆動的基準に基づき、事前仮定ではなく、最適な推論戦略（モジュラーまたは完全）を選択するフレームワークはどのように設計できるか？
• RQ5 どのような状況で、モジュール間のフィードバックをカットすることで、よりロバストで信頼性の高い不確実性の定量化が達成されるか？

主な発見

• 少なくとも1つのモジュールが不適合である場合、特にフィードバックカットを施したモジュラー手法は、完全モデルの事後分布よりも予測精度が優れていることがしばしばある。
• カット分布からの重要度サンプリングに基づく予測スコアは、モデル選択のための信頼性の高い基準を提供する。
• この手法は、不適合が一般的なメタアナリシスや傾向スコアを用いた因果推論の設定においても有効である。
• 2番目のモジュールから最初のモジュールへのフィードバックが弱い場合には、最初のモジュールの事後分布からの重要度サンプリングがうまく機能するが、強い場合には繰り返し最初のモジュールを照会する必要がある。
• データ順列の予測スコアを平均化することで、観測順序への感受性が低下するが、計算コストが増加する可能性がある。
• このフレームワークは、不適切な事前分布の取り扱いや、パワー尤度や部分的フィードバックを含むモデルへの拡張も可能であり、状況に応じたカスタマイズが可能である。