[論文レビュー] A Deep Learning Method for Comparing Bayesian Hierarchical Models

Lasse Elsemüller, Martin Schnuerch+2 more|arXiv (Cornell University)|Jan 27, 2023

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本論文は、ベイジアンハイパーパラメータモデル比較（BMC）のためのディープラーニング手法を提案しており、複雑なハイパーパラメータモデル、特に暗黙的尤度関数を有するモデルに対しても、ベイズ因子と事後モデル確率の効率的かつアモルタイズド推論を可能にする。ベイズフロー・フレームワーク内での階層的ニューラルネットワークアーキテクチャを活用することで、ブリッジサンプリングと同等の高い精度を達成しつつ、計算コストを著しく削減する。認知科学分野の不確実性のあるモデルや、トランスファーラーニングの利点についても実証された。

ABSTRACT

Bayesian model comparison (BMC) offers a principled approach for assessing the relative merits of competing computational models and propagating uncertainty into model selection decisions. However, BMC is often intractable for the popular class of hierarchical models due to their high-dimensional nested parameter structure. To address this intractability, we propose a deep learning method for performing BMC on any set of hierarchical models which can be instantiated as probabilistic programs. Since our method enables amortized inference, it allows efficient re-estimation of posterior model probabilities and fast performance validation prior to any real-data application. In a series of extensive validation studies, we benchmark the performance of our method against the state-of-the-art bridge sampling method and demonstrate excellent amortized inference across all BMC settings. We then showcase our method by comparing four hierarchical evidence accumulation models that have previously been deemed intractable for BMC due to partly implicit likelihoods. Additionally, we demonstrate how transfer learning can be leveraged to enhance training efficiency. We provide reproducible code for all analyses and an open-source implementation of our method.

研究の動機と目的

• ハイパーパラメータモデルにおけるベイジアンモデル比較（BMC）の不確実性を解消すること。これは、高次元かつネストされたパラメータ空間に起因する。
• 高次元パラメータ空間の明示的周辺化を回避する、スケーラブルでシミュレーションベースのBMC手法を開発すること。
• 事前データ分析の段階で繰り返し迅速なモデル比較を可能にする、アモルタイズド推論による高速化を実現すること。
• 認知科学分野のシミュレーションベースのモデルなど、暗黙的尤度関数を有するハイパーパラメータモデルへのBMCの適用範囲を拡大すること。
• モデルのキャリブレーションを診断するための指標を提供し、トレーニング効率を向上させるためのトランスファーラーニングを支援すること。

提案手法

• 本手法は、確率的プログラムから直接ベイズ因子と事後モデル確率を近似するための階層的ニューラルネットワークアーキテクチャを採用する。
• ベイズフロー・フレームワークに基づいており、競合するハイパーパラメータモデルからのシミュレートデータ上でエンドツーエンドのトレーニングが可能である。
• モデルは、シミュレートデータを用いてモデル証拠と事後モデル確率を予測するように学習され、これにより新しいデータセットに対してもアモルタイズド推論が可能になる。
• 自己一貫性とニューラル近似の信頼性を評価するため、キャリブレーション誤差指標が計算される。
• 関連するモデル族に対して事前学習済みネットワークを微調整することで、トランスファーラーニングをサポートし、新しいタスクのトレーニング時間を短縮する。
• 明示的尤度関数を有するモデルと、モンテカルロシミュレータとしてのみアクセス可能なモデル（暗黙的尤度関数）の両方に適用可能である。

(a) Marginal Likelihoods

実験結果

リサーチクエスチョン

• RQ1 複雑で高次元のパラメータ構造を持つハイパーパラメータモデルに対して、ディープラーニングモデルがベイズ因子と事後モデル確率を正確に近似できるか。
• RQ2 本手法の精度と計算効率について、最先端のブリッジサンプリングと比較して、どのように差が現れるか。
• RQ3 認知心理学で用いられるような、暗黙的尤度関数を有するハイパーパラメータモデルに対しても、本手法が有効に適用可能か。
• RQ4 トランスファーラーニングは、新しいが関連するハイパーパラメータモデルに本手法を適用する際、トレーニング時間をどの程度短縮できるか。
• RQ5 本手法の自己キャリブレーション誤差は、モデルの一貫性を診断するための信頼性の高い指標とみなせるか。

主な発見

• 本ディープラーニング手法は、すべてのテストされたBMC設定においてブリッジサンプリングと同等の性能を示し、ベイズ因子と事後モデル確率の近似において高い正確性を達成した。
• 本手法はアモルタイズド推論を可能にし、再トレーニングを一切行わずに新しいデータセットに対してモデル確率の再推定を迅速に行えるようになった。
• 本手法は、部分的に暗黙的尤度関数を有する4つのハイパーパラメータ的積算モデルの比較にも成功しており、これらは従来、BMCにおいて不確実であった。
• 本手法のキャリブレーション誤差は、モデルの一貫性を信頼できる診断指標として機能し、低誤差は良好にキャリブレートされた事後推定を示している。
• トランスファーラーニングにより、新しいハイパーパラメータモデルに本手法を適応させる際のトレーニング時間が顕著に短縮され、スケーラビリティと再利用性が向上した。
• オープンソースの実装と再現可能なコードが提供されており、完全な再現性とコミュニティへの導入を支援している。

(b) Posterior Model Probabilities