[論文レビュー] A General Framework for Cutting Feedback within Modularised Bayesian Inference

Yang Liu, Robert J. B. Goudie|ArXiv.org|Nov 7, 2022

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿は、任意の有向無閉路グラフ（DAG）構造にわたるモジュラー化ベイズ推論におけるフィードバックカットの形式的枠組みを導入する。観測可能な変数に基づいて「自己完結型ベイズモジュール」を定義し、モジュール推論の親子順序を確立し、信頼性の低いモジュールからの影響を除外しながらKullback-Leibler（KL）発散を最小化するカット分布を導出する。二モジュールカット推論を、順次分割を用いて一般の複数モジュールケースに拡張する。

ABSTRACT

Standard Bayesian inference can build models that combine information from various sources, but this inference may not be reliable if components of a model are misspecified. Cut inference, as a particular type of modularized Bayesian inference, is an alternative which splits a model into modules and cuts the feedback from the suspect module. Previous studies have focused on a two-module case, but a more general definition of a "module" remains unclear. We present a formal definition of a "module" and discuss its properties. We formulate methods for identifying modules; determining the order of modules; and building the cut distribution that should be used for cut inference within an arbitrary directed acyclic graph structure. We justify the cut distribution by showing that it not only cuts the feedback but also is the best approximation satisfying this condition to the joint distribution in the Kullback-Leibler divergence. We also extend cut inference for the two-module case to a general multiple-module case via a sequential splitting technique and demonstrate this via illustrative applications.

研究の動機と目的

• 二モジュールケースを超えるモジュラー化ベイズ推論における「モジュール」の一般的な定義の欠如に取り組む。
• パrameterではなく観測可能な確率変数に基づく「自己完結型ベイズモジュール」の形式的定義を提示する。
• 任意のDAGにおいて、モジュール構造の特定、推論順序（親子順序）の決定、カット分布の構築のための体系的な手法を確立する。
• 二モジュールカット推論を、順次分割技術を用いて一般の複数モジュール設定に拡張する。
• 信頼性の低いモジュールからのフィードバックを除外する制約のもとで、Kullback-Leibler（KL）発散の観点から真の結合事後分布への最良近似としてカット分布が最適であることを正当化する。

提案手法

• 観測確率変数の部分集合に関連する変数の集合として「自己完結型ベイズモジュール」を定義し、標準的なベイズ推論が可能なものを指す。
• DAG構造を用いて、親から子へと推論が流れる親子順序のモジュール順序を導出する。
• カット分布を、子孫モジュールからのフィードバックをカットした条件付き分布として定式化し、信頼性の低いコンポonentからの影響を排除する。
• 順次分割技術を適用して、各モジュールを順番に分離・カットすることで、二モジュールカット推論を複数モジュールに拡張する。
• カット分布が、信頼性の低いモジュールからのフィードバックがゼロである制約のもとで、Kullback-Leibler（KL）発散の観点から真の結合事後分布への最良近似であることを証明する。
• 具体的な応用例を通じて手法の有効性を示し、モデルの誤指定下でも推定の信頼性を維持できることを示す。

Figure 1: Self-contained Bayesian module. Squares denote observable random variables and circles denote parameters. The dashed part is a minimally self-contained Bayesian module (see Definition 2 ).

実験結果

リサーチクエスチョン

• RQ1 二モジュールケースを超えるモジュラー化ベイズ推論における一般の「モジュール」の形式的定義をどのように確立できるか？
• RQ2 DAG構造における複数モジュール間の正しい推論順序を決定づける基準は何か？
• RQ3 複数モジュールを含む任意のDAGにおいて、カット分布を体系的に導出する方法は何か？
• RQ4 Kullback-Leibler（KL）発散の観点からカット分布を最適近似とみなす理論的根拠は何か？
• RQ5 二モジュールカット推論を、原理的かつスケーラブルに一般の複数モジュール設定に拡張する方法は何か？

主な発見

• 本稿は、観測変数に基づく「自己完結型ベイズモジュール」の形式的定義を提示し、複雑なモデルにおけるモジュール同定の原則的基盤を提供する。
• DAG構造から直接導かれる親子順序により、祖先モジュールから子孫モジュールへと推論が体系的に流れる仕組みが確立される。
• カット分布は、信頼性の低いモジュールからのフィードバックを除外する制約のもとで、結合事後分布への最小KL発散近似として数学的に正当化される。
• 順次分割技術により、二モジュールカット推論を任意のDAGにおける複数モジュールにスケーラブルかつ一般化して拡張可能である。
• 誤指定されたコンポーネントを隔離することで、他のモジュールにおける信頼性の高い推論が歪められるのを防ぎ、推論の頑健性を確保する。
• 補足資料の数値シミュレーションでは、標準的なカット推論とは異なり、本手法はフィードバックカット時にも系統的なバイアスを回避することが示されたが、モデル構造に応じてバイアスが残る可能性は依然として存在する。

Figure 2: Partitioning the observable random variable $X$ . First $X$ is partitioned into two disjoint group $X_{A}^{\ast}$ and $X_{B}^{\ast}$ . Then $X_{A}^{\ast}$ is enlarged to form $\Psi_{A}=(X_{A},\Theta_{A})$ following Rule 1 , and similarly for $X_{B}^{\ast}$ to form $\Psi_{B}=(X_{B},\Theta_{