[論文レビュー] Efficient Distance Approximation for Structured High-Dimensional Distributions via Learning

Arnab Bhattacharyya, Sutanu Gayen+2 more|arXiv (Cornell University)|Feb 13, 2020

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

本稿では、ベイジアンネットワーク、強磁性イジング模型、ガウス分布、因果モデルからの介入分布など、構造的で高次元の分布同士の全変動距離を、poly(n, ε)サンプルおよび時間で近似する、最初の効率的アルゴリズムを提示する。このアプローチは、分布学習への一般的関係を活用し、加法的ε誤差保証のもとで多項式時間での距離推定を可能にする。

ABSTRACT

We design efficient distance approximation algorithms for several classes of structured high-dimensional distributions. Specifically, we show algorithms for the following problems: - Given sample access to two Bayesian networks $P_1$ and $P_2$ over known directed acyclic graphs $G_1$ and $G_2$ having $n$ nodes and bounded in-degree, approximate $d_{tv}(P_1,P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given sample access to two ferromagnetic Ising models $P_1$ and $P_2$ on $n$ variables with bounded width, approximate $d_{tv}(P_1, P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given sample access to two $n$-dimensional Gaussians $P_1$ and $P_2$, approximate $d_{tv}(P_1, P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given access to observations from two causal models $P$ and $Q$ on $n$ variables that are defined over known causal graphs, approximate $d_{tv}(P_a, Q_a)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples, where $P_a$ and $Q_a$ are the interventional distributions obtained by the intervention $do(A=a)$ on $P$ and $Q$ respectively for a particular variable $A$. Our results are the first efficient distance approximation algorithms for these well-studied problems. They are derived using a simple and general connection to distribution learning algorithms. The distance approximation algorithms imply new efficient algorithms for {\\em tolerant} testing of closeness of the above-mentioned structured high-dimensional distributions.

研究の動機と目的

• 標準的手法が指数的多数のサンプルを必要とする高次元分布距離推定の課題に対処すること。
• ベイジアンネットワーク、イジング模型、ガウス分布、および介入分布を含む構造的分布における、耐容性テストおよび距離近似のための効率的アルゴリズムを設計すること。
• 同一性および近接性テストにおける正確な等価性の制限を克服し、加法的誤差を許容する距離近似を可能にすること。
• 分布学習と距離近似を結ぶ一般的枠組みを確立し、よく研究された確率的モデルに対して効率的な解決策を可能にすること。

提案手法

• 分布学習アルゴリズムと距離近似の一般的関係を活用し、距離推定を学習および評価タスクに還元すること。
• 回路ベースの表現を用いて、介入的および条件付き分布の(ε/10, 0)-EVAL近似器を構築すること。
• 三角不等式を用いて、学習および評価部の近似を組み合わせることで推定誤差を上限付けすること。
• 中央値に基づく成功確率の強化と二分探索を用いて、信頼性を向上させ、高確率保証を達成すること。
• 複数の低成功確率学習器と距離推定を組み合わせることで、高信頼性学習を達成するブースティングアルゴリズム（アルゴリズム3）を設計すること。
• ベイジアンネットワークおよびイジング模型における入次数および幅の有界性を活用し、多項式時間計算量を保証すること。

実験結果

リサーチクエスチョン

• RQ1 最大入次数が有界な2つのベイジアンネットワーク間の全変動距離を、多項式のサンプルおよび時間で近似できるか？
• RQ2 幅が有界な2つの強磁性イジング模型間の距離を効率的に推定できるか？
• RQ3 高次元ガウス分布間の距離をpoly(n, ε)時間およびサンプルで近似できるか？
• RQ4 既知の因果グラフからのdo(A=a)介入分布間の距離を効率的に推定できるか？
• RQ5 低成功確率の分布学習アルゴリズムの成功率を、距離近似を用いて向上させられるか？

主な発見

• 本稿では、ベイジアンネットワーク、強磁性イジング模型、ガウス分布、および介入分布について、すべてpoly(n, ε)のサンプルおよび時間計算量を有する、最初の効率的距離近似アルゴリズムを提示する。
• ベイジアンネットワークおよびイジング模型では、最大入次数dおよびc成分サイズkを用いて、Õ(|Σ|⁵kd n / (αε²))のサンプルおよびÕ(mn|Σ|²kd + n|Σ|²kd ε⁻³)の時間で、全変動距離のε近似が達成される。
• ガウス分布では、poly(n, ε)時間およびサンプルで距離を近似可能であり、効率的な耐容性テストを可能にする。
• 既知の因果グラフにおけるdo(A=a)介入の距離近似は、学習済み生成子と評価回路を用いて、poly(n, ε)時間およびサンプルで達成される。
• ブースティングアルゴリズム（アルゴリズム3）は、学習アルゴリズムの成功率を3/4から1−δに向上させ、O(log(1/δ))回の繰り返しと学習器間の距離推定を用いる。
• 距離近似フレームワークにより、考察されたすべての構造的分布族に対して、効率的な耐容性近接性テストが可能になる。