[논문 리뷰] Square Hellinger Subadditivity for Bayesian Networks and its Applications to Identity Testing

Constantinos Daskalakis, Qinxuan Pan|arXiv (Cornell University)|2016. 12. 09.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 14

한 줄 요약

이 논문은 동일한 DAG 위의 베이지안 네트워크에 대해 제곱 헬링거 하위덧셈 부등식을 수립하여, 동일한 DAG 위의 두 네트워크 간의 제곱 헬링거 거리가 각 노드와 그 부모들의 제곱 거리의 합으로 유계임을 보여준다. 이는 최적의 샘플 효율적 신뢰도 테스팅을 가능하게 하며, 유계된 차수를 가진 네트워크의 경우 Õ(|Σ|^{3/4(d+1)}n/ε²)개의 샘플을, 근사적으로 제품 분포의 경우 O(√n/ε²)개의 샘플을 요구한다. 이는 알려진 하한값들에 비해 상수 인자 이내로 일치한다.

ABSTRACT

We show that the square Hellinger distance between two Bayesian networks on the same directed graph, $G$, is subadditive with respect to the neighborhoods of $G$. Namely, if $P$ and $Q$ are the probability distributions defined by two Bayesian networks on the same DAG, our inequality states that the square Hellinger distance, $H^2(P,Q)$, between $P$ and $Q$ is upper bounded by the sum, $\sum_v H^2(P_{\{v\} \cup Π_v}, Q_{\{v\} \cup Π_v})$, of the square Hellinger distances between the marginals of $P$ and $Q$ on every node $v$ and its parents $Π_v$ in the DAG. Importantly, our bound does not involve the conditionals but the marginals of $P$ and $Q$. We derive a similar inequality for more general Markov Random Fields. As an application of our inequality, we show that distinguishing whether two Bayesian networks $P$ and $Q$ on the same (but potentially unknown) DAG satisfy $P=Q$ vs $d_{ m TV}(P,Q)>ε$ can be performed from $ ilde{O}(|Σ|^{3/4(d+1)} \cdot n/ε^2)$ samples, where $d$ is the maximum in-degree of the DAG and $Σ$ the domain of each variable of the Bayesian networks. If $P$ and $Q$ are defined on potentially different and potentially unknown trees, the sample complexity becomes $ ilde{O}(|Σ|^{4.5} n/ε^2)$, whose dependence on $n, ε$ is optimal up to logarithmic factors. Lastly, if $P$ and $Q$ are product distributions over $\{0,1\}^n$ and $Q$ is known, the sample complexity becomes $O(\sqrt{n}/ε^2)$, which is optimal up to constant factors.

연구 동기 및 목표

• 고차원 구조적 분포, 예를 들어 베이지안 네트워크에 대한 효율적인 신뢰도 테스팅 알고리즘을 개발하는 것.
• 그래픽 모델의 구조를 활용하여 고차원 분포 테스팅에서 기하급수적 샘플 복잡도 장벽을 극복하는 것.
• 베이지안 네트워크와 마르코프 무작위 필드에 대한 새로운 제곱 헬링거 하위덧셈 부등식을 수립하는 것.
• 총 변동 거리 기준으로 최적 또는 근사 최적의 샘플 복잡도를 달성하는 것.
• 이전의 이징 모델 연구를 더 일반적인 확률적 그래픽 모델로 확장하는 것.

제안 방법

• H²(P,Q) ≤ ∑ᵥ H²(P_{v∪Πᵥ}, Q_{v∪Πᵥ}) 를 유도하여 제곱 헬링거 하위덧셈 경계를 도출하며, 여기서 P와 Q는 동일한 DAG G 위의 베이지안 네트워크이다.
• 이 하위덧셈 부등식을 사용하여 전반적인 테스팅을 마르코프 블랭킷(노드와 부모 집합) 위의 국소 테스팅으로 환원한다.
• qᵢ ≥ ε/(cn) 이라는 가정은 총 변동 거리를 상수 인자 이내로만 악화시킨다는 것을 보여주기 위해 커플링 추론을 적용한다.
• ADK15에서 제안한 χ² 기반 테스팅 프레임워크를 헬링거 설정으로 적응시키며, 각 좌표로부터 독립된 샘플을 시뮬레이션하기 위해 포아송화된 샘플링을 사용한다.
• 검정 통계량 Z = ∑ᵢ ((Nᵢ − mqᵢ)² − Nᵢ)/(mqᵢ) 을 사용하고, 농도 부등식을 통해 기대값과 분산을 분석한다.
• 체비셰프 부등식을 사용하여 P=Q와 d_TV(P,Q) > ε 사이를 구분하며, 오류 확률을 1/3 이내로 제한한다.

실험 결과

연구 질문

• RQ1 동일한 DAG 위의 두 베이지안 네트워크 간의 제곱 헬링거 거리는 국소 마르코프 블랭킷에 대한 합으로 유계가 될 수 있는가?
• RQ2 이 하위덧셈 부등식은 구조적 고차원 분포에서의 신뢰도 테스팅에 대해 최적의 샘플 복잡도를 가능하게 하는가?
• RQ3 독립 동일 분포 테스팅의 기하급수적 복잡도를 넘어서 베이지안 네트워크의 신뢰도 테스팅에 대한 샘플 복잡도를 향상시킬 수 있는가?
• RQ4 분포가 {0,1}ⁿ 위의 제품 측도이고 Q가 알려져 있을 때, 최적의 샘플 복잡도는 무엇인가?
• RQ5 이 하위덧셈 부등식은 일반적인 마르코프 무작위 필드로 어떻게 일반화되는가?

주요 결과

• 동일한 DAG 위의 두 베이지안 네트워크 간의 제곱 헬링거 거리는 조건부 확률을 포함하지 않고도 각 노드와 그 부모들의 제곱 헬링거 거리의 합으로 유계진다.
• 최대 진입 차수 d를 가진 베이지안 네트워크의 경우, 신뢰도 테스팅에 Õ(|Σ|^{3/4(d+1)}n/ε²)개의 샘플이 필요하며, 이는 로그 인자 이내로 최적이며 최적이다.
• 알 수 없는 트리 위의 베이지안 네트워크의 경우 샘플 복잡도는 Õ(|Σ|^{4.5}n/ε²)이며, n과 ε에 대한 최적의 의존성에 대해 로그 인자 이내로 일치한다.
• {0,1}ⁿ 위의 제품 분포에서 Q가 알려져 있을 경우, 신뢰도 테스팅에 O(√n/ε²)개의 샘플이 필요하며, 이는 상수 인자 이내로 최적이다.
• 하위덧셈 부등식은 일반적인 마르코프 무작위 필드로도 확장되며, 유사한 테스팅 보장을 가능하게 한다.
• 분석은 포아송화된 샘플링과 유계된 분산을 가진 χ² 유형의 검정 통계량을 활용하여 농도 기반 가설 검정을 가능하게 한다.