[论文解读] Efficient Distance Approximation for Structured High-Dimensional Distributions via Learning

Arnab Bhattacharyya, Sutanu Gayen+2 more|arXiv (Cornell University)|Feb 13, 2020

Bayesian Modeling and Causal Inference被引用 7

一句话总结

本文提出了首个针对结构化高维分布（如贝叶斯网络、铁磁伊辛模型、高斯分布以及因果模型中的干预分布）的总变差距离近似算法，仅需多项式时间与样本数 poly(n, ε)。该方法利用分布学习与距离估计之间的通用联系，实现了具有加法误差界 ε 的多项式时间距离估计。

ABSTRACT

We design efficient distance approximation algorithms for several classes of structured high-dimensional distributions. Specifically, we show algorithms for the following problems: - Given sample access to two Bayesian networks $P_1$ and $P_2$ over known directed acyclic graphs $G_1$ and $G_2$ having $n$ nodes and bounded in-degree, approximate $d_{tv}(P_1,P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given sample access to two ferromagnetic Ising models $P_1$ and $P_2$ on $n$ variables with bounded width, approximate $d_{tv}(P_1, P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given sample access to two $n$-dimensional Gaussians $P_1$ and $P_2$, approximate $d_{tv}(P_1, P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given access to observations from two causal models $P$ and $Q$ on $n$ variables that are defined over known causal graphs, approximate $d_{tv}(P_a, Q_a)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples, where $P_a$ and $Q_a$ are the interventional distributions obtained by the intervention $do(A=a)$ on $P$ and $Q$ respectively for a particular variable $A$. Our results are the first efficient distance approximation algorithms for these well-studied problems. They are derived using a simple and general connection to distribution learning algorithms. The distance approximation algorithms imply new efficient algorithms for {\\em tolerant} testing of closeness of the above-mentioned structured high-dimensional distributions.

研究动机与目标

• 解决高维分布距离估计的挑战，其中标准方法需要指数级样本数。
• 为贝叶斯网络、伊辛模型、高斯分布及干预分布等结构化分布设计高效的容错测试与距离近似算法。
• 通过支持加法误差的距离近似，克服精确相等性在身份检验与接近性检验中的限制。
• 建立分布学习与距离估计之间的通用框架，为广泛研究的概率模型提供高效解决方案。

提出的方法

• 利用分布学习算法与距离估计之间的通用联系，将距离估计问题转化为学习与评估任务。
• 基于电路表示，构建干预分布与条件分布的 (ε/10, 0)-EVAL 近似器。
• 应用三角不等式，通过结合学习与评估组件的近似结果，界定向估计误差。
• 使用基于中位数的成功概率放大与二分查找，提升可靠性并实现高概率保证。
• 设计一种提升算法（算法3），将多个低成功概率学习器与距离估计相结合，实现高置信度学习。
• 利用贝叶斯网络与伊辛模型中入度与宽度的有界性，确保多项式时间复杂度。

实验结果

研究问题

• RQ1 我们能否使用多项式样本与时间，近似两个有界入度的贝叶斯网络之间的总变差距离？
• RQ2 是否存在一种高效算法，可估计两个有界宽度的铁磁伊辛模型之间的距离？
• RQ3 我们能否在 poly(n, ε) 时间与样本数内，近似两个高维高斯分布之间的距离？
• RQ4 如何高效估计已知因果图上 do(A=a) 干预分布之间的距离？
• RQ5 距离近似能否用于提升低成功率分布学习算法的成功概率？

主要发现

• 本文首次提出针对贝叶斯网络、铁磁伊辛模型、高斯分布及干预分布的高效距离近似算法，所有算法的样本与时间复杂度均为 poly(n, ε)。
• 对于贝叶斯网络与伊辛模型，算法使用 Õ(|Σ|⁵kd n / (αε²)) 个样本与 Õ(mn|Σ|²kd + n|Σ|²kd ε⁻³) 的时间，实现总变差距离的 ε-近似，其中 d 为最大入度，k 为 c-组件大小。
• 对于高斯分布，算法在 poly(n, ε) 时间与样本数内完成距离近似，支持高效的容错测试。
• 基于已知因果图，对 do(A=a) 干预分布的距离近似可在 poly(n, ε) 时间与样本数内完成，方法为使用学习到的生成器与评估电路。
• 提升算法（算法3）通过 O(log(1/δ)) 次重复与学习器之间的距离估计，将学习算法的成功概率从 3/4 提升至 1−δ。
• 距离近似框架意味着对所有考虑的结构化分布族，均可实现高效的容错接近性测试。