[論文レビュー] Prediction can be safely used as a proxy for explanation in causally consistent Bayesian generalized linear models

Maximilian Scholz, Paul‐Christian Bürkner|arXiv (Cornell University)|Oct 13, 2022

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

この論文は、ベイジアン一般化線形モデルにおける予測が説明の代理として信頼できるものかどうかを調査する。大規模なシミュレーションを用いて、モデルが真のデータ生成過程と因果的に整合している場合にのみ、予測が説明の有効な代理となることが判明し、因果性がモデル選択における予測と説明の間の重要な接続要因であることが強調された。

ABSTRACT

Bayesian modeling provides a principled approach to quantifying uncertainty in model parameters and model structure and has seen a surge of applications in recent years. Within the context of a Bayesian workflow, we are concerned with model selection for the purpose of finding models that best explain the data, that is, help us understand the underlying data generating process. Since we rarely have access to the true process, all we are left with during real-world analyses is incomplete causal knowledge from sources outside of the current data and model predictions of said data. This leads to the important question of when the use of prediction as a proxy for explanation for the purpose of model selection is valid. We approach this question by means of large-scale simulations of Bayesian generalized linear models where we investigate various causal and statistical misspecifications. Our results indicate that the use of prediction as proxy for explanation is valid and safe only when the models under consideration are sufficiently consistent with the underlying causal structure of the true data generating process.

研究の動機と目的

• ベイジアンモデル選択において、予測が説明の信頼できる代理として使用できる条件を特定すること。
• さまざまな因果的および統計的誤特定条件下での予測性能とパラメータ回復性（説明）の関係を調査すること。
• 因果性が統計的モデリングにおける予測と説明を結ぶ「欠けた要因」として機能するかどうかを評価すること。
• 制御された因果構造下でのベイジアンモデル性能を研究するためのシミュレーションフレームワークを構築・検証すること。
• モデル選択が予測に基づく場合に、それが真のデータ生成過程を説明できる条件についての実証的証拠を提供すること。

提案手法

• 制御された、既知のデータ生成過程（DGP）の下で、ベイジアン一般化線形モデルの大きなスケールのシミュレーションを実施する。
• 因果構造と統計的仮定を体系的に変化させ、誤特定状況下でのモデル性能を評価する。
• 予測性能（PP）をサンプル外予測精度で測定し、説明の代理としてのパラメータ回復性（PR）を測定する。
• 異なる因果仮定を持つモデル間でPPとPRを比較し、それらの関係を評価する。
• 再現性とスケーラビリティを確保するため、シミュレーション研究に特化したRパッケージを活用する。
• 交差検証とサンプル外予測指標を用いて、モデルの不確実性を考慮した予測性能を評価する。

Figure 1: High-level overview of our conceptual framework that connects explanation and prediction in statistical modeling. See Section 1.1 for further details.

実験結果

リサーチクエスチョン

• RQ1 ベイジアンモデル選択において、予測が説明の有効な代理となる条件は何か？
• RQ2 仮定されたデータ生成過程と真のデータ生成過程との間の因果的一致性が、予測と説明の関係にどのように影響するか？
• RQ3 因果構造が異なる場合、予測性能が向上しても、パラメータ回復性が必然的に向上するわけではないか？
• RQ4 データ生成過程における異なる尤度の形状が、予測と説明の関係にどのように影響するか？
• RQ5 事前分布や正則化が、モデル評価における予測と説明の関係にどの程度影響を及えるか？

主な発見

• 予測を説明の代理として安全に使用できるのは、モデルが真のデータ生成過程と因果的に整合している場合に限る。
• 因果構造が整合している場合、予測性能の向上と説明性能の向上が関連しており、両者の間に強い関連があることが示された。
• 因果的誤特定（例：コリダーの含む）が生じると、予測性能は向上するが説明性能は低下する可能性があり、代理仮定が崩れる。
• モデルの背後にある因果仮定が異なる場合、予測と説明の関係は崩れる。これは、すべてのモデルが不偏であっても同様である。
• 特定の状況（例：真陽性・偽陽性率）における床効果や天井効果が、極端なケースでの解釈性を制限したが、全体的な結論は依然として頑健であった。
• これらの結果は、因果性がモデル選択における予測が説明力の信頼性をどれだけ反映するかを決定づける重要な要因であると示唆している。

Figure 2: Conceptual simulation architecture. We generated 200 data sets for each entry from a list of data-generating configurations (see Table 1 ) for a total of $28,800$ datasets. We then fit a model for each entry from a list of model-fitting configurations (see Table 2 ) to each data set for a