[论文解读] A General Framework for Cutting Feedback within Modularised Bayesian Inference

Yang Liu, Robert J. B. Goudie|ArXiv.org|Nov 7, 2022

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了一种在任意有向无环图（DAG）结构上进行模块化贝叶斯推断时切割反馈的正式框架。它基于可观测变量定义了‘自洽贝叶斯模块’，建立了模块推断的父-子排序，并推导出在排除可疑模块影响的同时最小化KL散度的切割分布——通过顺序分割技术将两模块切割推断扩展至一般多模块情形。

ABSTRACT

Standard Bayesian inference can build models that combine information from various sources, but this inference may not be reliable if components of a model are misspecified. Cut inference, as a particular type of modularized Bayesian inference, is an alternative which splits a model into modules and cuts the feedback from the suspect module. Previous studies have focused on a two-module case, but a more general definition of a "module" remains unclear. We present a formal definition of a "module" and discuss its properties. We formulate methods for identifying modules; determining the order of modules; and building the cut distribution that should be used for cut inference within an arbitrary directed acyclic graph structure. We justify the cut distribution by showing that it not only cuts the feedback but also is the best approximation satisfying this condition to the joint distribution in the Kullback-Leibler divergence. We also extend cut inference for the two-module case to a general multiple-module case via a sequential splitting technique and demonstrate this via illustrative applications.

研究动机与目标

• 解决模块化贝叶斯推断中除两模块情形外‘模块’缺乏一般性定义的问题。
• 基于可观测随机变量而非参数，提供‘自洽贝叶斯模块’的形式化定义。
• 建立一种系统方法，用于识别模块结构、确定推断顺序（父-子排序），并在任意DAG中构建切割分布。
• 通过顺序分割技术，将两模块切割推断扩展至一般多模块设置。
• 证明切割分布是在KL散度下对联合后验的最佳近似，同时排除可疑模块的影响。

提出的方法

• 将‘自洽贝叶斯模块’定义为与可观测随机变量子集相关联的一组变量，使其能够进行标准贝叶斯推断。
• 利用DAG结构推导模块的父-子排序，确保推断从祖先模块流向后代模块。
• 将切割分布表述为在条件切断来自后代模块反馈时的联合分布，确保可疑组件无影响。
• 应用顺序分割技术，通过迭代隔离并切断每个模块的反馈，将两模块切割推断扩展至多模块。
• 证明切割分布是在满足可疑模块无反馈约束下，对真实联合后验的KL散度最小近似。
• 通过说明性应用展示该方法，表明其在模型误设下仍能保持估计的可靠性。

Figure 1: Self-contained Bayesian module. Squares denote observable random variables and circles denote parameters. The dashed part is a minimally self-contained Bayesian module (see Definition 2 ).

实验结果

研究问题

• RQ1 如何在两模块情形之外，为模块化贝叶斯推断中的‘模块’建立一个通用且形式化的定义？
• RQ2 在DAG结构中，多个模块之间的正确推断顺序由什么标准决定？
• RQ3 如何系统地推导出具有多个模块的任意DAG中的切割分布？
• RQ4 为何将切割分布作为KL散度下的最优近似具有理论依据？
• RQ5 如何以系统且可扩展的方式将两模块切割推断扩展至一般多模块设置？

主要发现

• 本文基于可观测变量正式定义了‘自洽贝叶斯模块’，为复杂模型中模块识别提供了原则性基础。
• 模块的父-子排序直接由DAG结构导出，实现了从祖先模块到后代模块的系统性推断流程。
• 切割分布被数学上证明为在排除可疑模块影响的前提下，对联合后验的KL散度最小近似。
• 顺序分割技术实现了从两模块到任意DAG中多模块切割推断的可扩展且通用的扩展。
• 该方法通过隔离误设组件，确保了推断的稳健性，从而防止其影响其他模块的可靠推断。
• 补充材料中的数值模拟表明，与标准切割推断不同，所提方法在切断反馈时避免了系统性偏差，尽管偏差仍可能因模型结构而存在。

Figure 2: Partitioning the observable random variable $X$ . First $X$ is partitioned into two disjoint group $X_{A}^{\ast}$ and $X_{B}^{\ast}$ . Then $X_{A}^{\ast}$ is enlarged to form $\Psi_{A}=(X_{A},\Theta_{A})$ following Rule 1 , and similarly for $X_{B}^{\ast}$ to form $\Psi_{B}=(X_{B},\Theta_{