[論文レビュー] Semi-Modular Inference: enhanced learning in multi-modular models by tempering the influence of components

Chris U. Carmona, Geoff K. Nicholls|arXiv (Cornell University)|Mar 15, 2020

Bayesian Methods and Mixture Models参考文献 10被引用数 11

ひとこと要約

本稿では、影響係数 η を用いてマルチモジュラルモデル内のモジュールの影響を滑らかに調整することにより、ベイジアン推論とカットモデル推論を一般化する一貫性のある枠組みである半モジュラー推論（SMI）を導入する。SMI は、良好に定式化されたモジュールから不適切に定式化されたモジュールへの指向的で調整可能な情報伝達を可能にし、予測性能を向上させる。シミュレーションでは η ≈ 0.82 を、考古学的データセットでは η ≈ 0.8 を選択した結果、SMI は両方の状況で予測精度と主要仮説の証拠の両面で、完全ベイジアン推論およびカットモデル推論を上回った。

ABSTRACT

Bayesian statistical inference loses predictive optimality when generative models are misspecified. Working within an existing coherent loss-based generalisation of Bayesian inference, we show existing Modular/Cut-model inference is coherent, and write down a new family of Semi-Modular Inference (SMI) schemes, indexed by an influence parameter, with Bayesian inference and Cut-models as special cases. We give a meta-learning criterion and estimation procedure to choose the inference scheme. This returns Bayesian inference when there is no misspecification. The framework applies naturally to Multi-modular models. Cut-model inference allows directed information flow from well-specified modules to misspecified modules, but not vice versa. An existing alternative power posterior method gives tunable but undirected control of information flow, improving prediction in some settings. In contrast, SMI allows tunable and directed information flow between modules. We illustrate our methods on two standard test cases from the literature and a motivating archaeological data set.

研究の動機と目的

• 良好に定式化されたモジュールに不適切に定式化されたモジュールが影響を及ぼすマルチモジュラルベイジアンモデルにおけるモデル不適合問題に対処すること。
• ベイジアン推論とカットモデル推論の間を滑らかに補間する統一的推論フレームワークを構築し、制御可能で方向性のある情報伝達を可能にすること。
• 既存手法を一般化し、原則的なモデル選択を可能にする一貫性のある損失に基づく推論スキームを提供すること。
• elpd や WAIC といった予測基準を用いた、最適な影響係数 η の実用的選択法を提供すること。

提案手法

• 影響係数 η でインデックス付けられた候補事後分布の族を導入し、η = 1 が完全ベイジアン推論に、η = 0 がカットモデル推論に対応するように定義する。
• SMI 事後分布をモジュール寄与の重み付き組み合わせとして定義し、ベイジアン推論とカットモデル推論の間を滑らかに補間可能にする。
• Bissiri ら（2016）の損失に基づく推論フレームワークに整合する SMI の一貫性を保証し、理論的整合性を確保する。
• 予測性能（推定された1つ除いた予測密度（elpd）と WAIC）を基準として、最適な η 値を選択する。
• SMI 事後分布上で MCMC サンプリングを用いて手法を実装し、シミュレーションおよび実データセットにおける数値的評価を実施する。
• meta学習を用いて elpd を最大化する η を選択し、その値が 0 から 1 の間の部分的影響を示す。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン推論とカットモデル推論の間を滑らかに補間しつつ一貫性を保つ一般化された推論フレームワークを開発できるか？
• RQ2 影響係数 η を用いたモジュールの影響調整が、モデル不適合の下でも予測性能を向上させるか？
• RQ3 elpd や WAIC といったデータ駆動型基準が、マルチモジュラルモデルにおける最適な推論スキーム（最適な η）を信頼性高く選択できるか？
• RQ4 実世界のデータセットにおいて、SMI は予測精度および主要仮説の証拠の両面で、ベイジアン推論およびカットモデル推論と比較してどのように差を示すか？

主な発見

• 考古学的データセットでは、SMI が η ≈ 0.82 を選択し、γ < 0 に対する証拠（ベイズ因子 = 117.11）をカットモデル（BF = 5.54）よりも強く示した。これは、推論力の向上を示している。
• HPV疫学的データセットでは、SMI が予測性能を最適化する η 値を選択した。ポisson モジュールの予測には η ≈ 0.8 が最適であり、二項分布モジュールには η = 0（カットモデル）が最適であった。
• テストケースにおいて、SMI は WAIC を用いた推定 elpd 値が低かったことから、完全ベイジアン推論およびカットモデル推論よりも優れた予測性能を達成した。
• 本手法は、特に η 値が低い場合に顕著な γ のゼロへのシフト（後退）を示す、事後分布推定における希釈効果を効果的に緩和した。
• SMI は Bissiri ら（2016）の損失に基づく推論フレームワークにおいて一貫しており、理論的整合性が保証された。
• R パッケージ 'aistats2020smi' を用いることで、MCMC サンプリングおよび elpd 評価を含む、すべての結果の再現性が確保された。