[論文レビュー] Valid belief updates for prequentially additive loss functions arising in Semi-Modular Inference

Geoff K. Nicholls, Jeong Eun Lee+2 more|arXiv (Cornell University)|Jan 24, 2022

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本論文は、半モジュラー推論（SMI）およびカットモデルでよく見られる、逐次的加法的損失関数が、ギブス事後分布の構成によって有効で順序整合性のある信念更新をサポートすることを確立している。このような損失関数は完全に加法的ではないものの、依然として最適かつ整合性のある推論をもたらすことが示され、SMIスキームにおける信念更新がこれと一致することを示しており、モデルが誤指定されている場合のモジュラーBayes推論における原理的基盤を提供する。

ABSTRACT

Model-based Bayesian evidence combination leads to models with multiple parameteric modules. In this setting the effects of model misspecification in one of the modules may in some cases be ameliorated by cutting the flow of information from the misspecified module. Semi-Modular Inference (SMI) is a framework allowing partial cuts which modulate but do not completely cut the flow of information between modules. We show that SMI is part of a family of inference procedures which implement partial cuts. It has been shown that additive losses determine an optimal, valid and order-coherent belief update. The losses which arise in Cut models and SMI are not additive. However, like the prequential score function, they have a kind of prequential additivity which we define. We show that prequential additivity is sufficient to determine the optimal valid and order-coherent belief update and that this belief update coincides with the belief update in each of our SMI schemes.

研究の動機と目的

• モデルが誤指定されている場合のモジュラーBayes推論における有効で順序整合性のある信念更新の理論的基盤を確立すること。
• カットモデルとSMIに現れる半逐次的加法的損失関数が、完全に加法的でないにもかかわらず、最適な信念更新をサポートすることを示すこと。
• 一般化Bayes更新の枠組みとしての半逐次的加法性を用いて、SMIとカットモデル推論を統一すること。
• η-SMIおよびδ-SMIスキームにおける信念更新が、半逐次的加法的損失関数から導かれる最適で有効かつ順序整合性のある更新と一致することを示すこと。
• 一部の構成要素が誤指定されているマルチモジュールモデルにおいて、標準的なBayes更新の代替としての原理的枠組みを提供すること。

提案手法

• 著者らは、逐次的またはモジュラー推論の文脈に適した標準的加法性の緩和として「半逐次的加法性」を定義する。
• 彼らは、ギブス事後分布の構成によって、半逐次的加法的損失関数が最適で有効かつ順序整合性のある信念更新をサポートすることを示す。
• この方法は、尤度が完全に加法的でない場合でも、整合性のある信念更新を可能にする一般化Bayes理論を適用する。
• この枠組みはη-SMIおよびδ-SMIに適用され、それらの事後分布が半逐次的加法性のもとでの最適更新と一致することを示している。
• パワー事後分布とデータ近傍へのABCに類似した条件付けを用いて、カット推論と完全なBayes推論の間を補間する分布を構築する。
• 理論的結果は、PAC-Bayes、ギブス事後分布、およびブートストラップ事後分布といった既存手法との関連によって裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 損失関数が完全に加法的でない場合でも、半モジュラーおよびカットモデルにおける信念更新は有効で整合的と見なせるか？
• RQ2 損失関数のどの性質がモジュラー推論における最適で有効かつ順序整合性のある信念更新を保証するか？
• RQ3 一般化Bayes更新において、半逐次的加法性は標準的加法性と比べてどのように機能するか？
• RQ4 η-SMIおよびδ-SMIスキームにおける信念更新は、半逐次的加法的損失関数から導かれる最適更新と一致するか？
• RQ5 この枠組みは、ブートストラップまたはバギング事後分布を標準尤度の代替として含めるように拡張可能か？

主な発見

• 半逐次的加法的損失関数は、損失が完全に加法的でない場合でも、最適で有効かつ順序整合性のある信念更新を保証するのに十分である。
• η-SMIおよびδ-SMIスキームにおける信念更新は、半逐次的加法的損失関数から導かれる最適更新と数学的に同一である。
• δ-SMIフレームワークは、データ近傍サイズδを用いて誤指定を自然に解釈でき、データの変動に対する明確なスケールを持つ。
• δ-SMI事後分布は、積空間における近傍内でのデータに条件付けられたABC事後分布の一種であり、δ → 0のとき標準的なBayes推論に回復する。
• Posterior BootstrapやBagged事後分布に拡張した場合、この方法はブートストラップ事後分布から良好な頻度的被覆性を継承する。
• 本フレームワークは、特にパrameter推定を目的とする場合に、誤指定された構成要素を含むマルチモジュールモデルにおける標準的Bayes更新の原理的代替を提供する。