[논문 리뷰] Efficient Distance Approximation for Structured High-Dimensional Distributions via Learning

Arnab Bhattacharyya, Sutanu Gayen외 2명|arXiv (Cornell University)|2020. 02. 13.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

이 논문은 Bayesian 네트워크, 페로자기 이징 모델, 가우시안, 인과 모델의 간섭 분포와 같은 구조적 고차원 분포 간의 총변동 거리(total variation distance)를 다항수(n, ε)의 샘플과 시간으로 효율적으로 근사하는 최초의 알고리즘을 제시한다. 이 접근법은 분포 학습과의 일반적인 연결을 활용하여, 애드디티브 ε-오차 보장을 갖는 다항시간 거리 추정을 가능하게 한다.

ABSTRACT

We design efficient distance approximation algorithms for several classes of structured high-dimensional distributions. Specifically, we show algorithms for the following problems: - Given sample access to two Bayesian networks $P_1$ and $P_2$ over known directed acyclic graphs $G_1$ and $G_2$ having $n$ nodes and bounded in-degree, approximate $d_{tv}(P_1,P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given sample access to two ferromagnetic Ising models $P_1$ and $P_2$ on $n$ variables with bounded width, approximate $d_{tv}(P_1, P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given sample access to two $n$-dimensional Gaussians $P_1$ and $P_2$, approximate $d_{tv}(P_1, P_2)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples and time - Given access to observations from two causal models $P$ and $Q$ on $n$ variables that are defined over known causal graphs, approximate $d_{tv}(P_a, Q_a)$ to within additive error $\\epsilon$ using $poly(n,\\epsilon)$ samples, where $P_a$ and $Q_a$ are the interventional distributions obtained by the intervention $do(A=a)$ on $P$ and $Q$ respectively for a particular variable $A$. Our results are the first efficient distance approximation algorithms for these well-studied problems. They are derived using a simple and general connection to distribution learning algorithms. The distance approximation algorithms imply new efficient algorithms for {\\em tolerant} testing of closeness of the above-mentioned structured high-dimensional distributions.

연구 동기 및 목표

• 기존 방법이 지수적으로 많은 샘플이 필요한 고차원 분포 거리 추정 문제에 도전한다.
• Bayesian 네트워크, 이징 모델, 가우시안, 간섭 분포와 같은 구조적 분포에서 내성 테스트 및 거리 근사에 효율적인 알고리즘을 설계한다.
• 정확한 등가성에 국한되는 정체성 테스트 및 가까움 테스트의 한계를 극복하기 위해 애드디티브 오차 거리 근사를 가능하게 한다.
• 분포 학습과 거리 근사 간의 일반적인 프레임워크를 구축하여 잘 알려진 확률 모델에 대해 효율적인 해법을 가능하게 한다.

제안 방법

• 분포 학습 알고리즘과 거리 근사 간의 일반적 연결을 활용하여, 거리 추정을 학습 및 평가 작업으로 환원한다.
• 회로 기반 표현을 사용하여 간섭 및 조건부 분포에 대한 (ε/10, 0)-EVAL 근사기(approximator)를 구축한다.
• 삼각부등식을 적용하여 학습 및 평가 구성요소로부터의 근사값을 조합함으로써 추정 오차를 경계한다.
• 중위수 기반 성공 확률 강화 및 이진 탐색을 사용하여 신뢰도를 향상시키고 고확률 보장을 달성한다.
• 낮은 성공 확률을 가진 학습기들을 거리 추정과 조합하여 고신뢰도 학습을 달성하는 부스팅 알고리즘(알고리즘 3)을 설계한다.
• Bayesian 네트워크와 이징 모델의 제한된 진입 차수 및 폭 제약 조건을 활용하여 다항시간 복잡도를 보장한다.

실험 결과

연구 질문

• RQ1 제한된 진입 차수를 가진 두 Bayesian 네트워크 간의 총변동 거리를 다항수 샘플과 시간으로 근사할 수 있는가?
• RQ2 제한된 폭을 가진 두 페로자기 이징 모델 간의 거리를 효율적으로 추정할 수 있는 알고리즘이 있는가?
• RQ3 고차원 가우시안 분포 간의 거리를 다항수(n, ε) 시간과 샘플로 근사할 수 있는가?
• RQ4 알려진 그래프를 가진 인과 모델의 간섭 분포 간 거리를 효율적으로 추정할 수 있는가?
• RQ5 낮은 성공률을 가진 분포 학습 알고리즘의 성공 확률을 향상시키기 위해 거리 근사를 활용할 수 있는가?

주요 결과

• 논문은 Bayesian 네트워크, 페로자기 이징 모델, 가우시안, 간섭 분포에 대해 다항수(n, ε) 샘플 및 시간 복잡도를 갖는 최초의 효율적 거리 근사 알고리즘을 제시한다.
• Bayesian 네트워크 및 이징 모델의 경우, 알고리즘은 최대 진입 차수 d와 c-성분 크기 k를 고려하여 Õ(|Σ|⁵kd n / (αε²))개의 샘플과 Õ(mn|Σ|²kd + n|Σ|²kd ε⁻³)의 시간으로 총변동 거리의 ε-근사를 달성한다.
• 가우시안의 경우, 알고리즘은 다항수(n, ε) 시간과 샘플로 거리를 근사하여 효율적인 내성 테스트를 가능하게 한다.
• 알려진 인과 그래프에서 do(A=a) 간섭에 대한 간섭 거리 근사는 학습된 생성기와 평가 회로를 사용하여 다항수(n, ε) 시간과 샘플로 달성된다.
• 부스팅 알고리즘(알고리즘 3)은 O(log(1/δ))번의 반복과 학습기 간의 거리 추정을 통해 학습 알고리즘의 성공 확률을 3/4에서 1−δ로 향상시킨다.
• 거리 근사 프레임워크는 고려된 모든 구조적 분포 가족에 대해 효율적인 내성 가까움 테스트를 암시한다.