[논문 리뷰] Structure learning of antiferromagnetic Ising models

Guy Bresler, David Gamarnik외 1명|arXiv (Cornell University)|2014. 12. 03.

Bayesian Modeling and Causal Inference참고 문헌 26인용 수 14

한 줄 요약

이 논문은 최대 차수 $d$를 가진 일반적인 이산 무향 그래프 모델의 구조 학습에 대해 통계적 알고리즘을 사용할 때 $Ω(p^{d/2})$의 계산 하한을 확립하며, 이는 완전 탐색이 거의 최적임을 보여준다. 또한 강한 반발력을 가진 반자성 이징 모델의 일종을 제안하여, 이 모델에서는 $;(p^2)$ 시간 내에 구조 학습이 가능함을 보이며, 이는 자성 또는 일반 모델의 어려움과 뚜렷한 대비를 이룬다.

ABSTRACT

In this paper we investigate the computational complexity of learning the graph structure underlying a discrete undirected graphical model from i.i.d. samples. We first observe that the notoriously difficult problem of learning parities with noise can be captured as a special case of learning graphical models. This leads to an unconditional computational lower bound of $Ω(p^{d/2})$ for learning general graphical models on $p$ nodes of maximum degree $d$, for the class of so-called statistical algorithms recently introduced by Feldman et al (2013). The lower bound suggests that the $O(p^d)$ runtime required to exhaustively search over neighborhoods cannot be significantly improved without restricting the class of models. Aside from structural assumptions on the graph such as it being a tree, hypertree, tree-like, etc., many recent papers on structure learning assume that the model has the correlation decay property. Indeed, focusing on ferromagnetic Ising models, Bento and Montanari (2009) showed that all known low-complexity algorithms fail to learn simple graphs when the interaction strength exceeds a number related to the correlation decay threshold. Our second set of results gives a class of repelling (antiferromagnetic) models that have the opposite behavior: very strong interaction allows efficient learning in time $O(p^2)$. We provide an algorithm whose performance interpolates between $O(p^2)$ and $O(p^{d+2})$ depending on the strength of the repulsion.

연구 동기 및 목표

• 독립 identically distributed 표본들로부터 그래프 모델의 구조 학습에 대한 계산 복잡도를 규명하는 것.
• 유계 차수를 가진 일반 그래프 모델 학습에 있어 통계적 알고리즘의 하한을 설정하는 것.
• 일반적인 어려움에도 불구하고, 어떤 조건에서 구조 학습이 다루기 쉬워지는지 규명하는 것.
• 상호작용 유형—특히 반자성 대 자성—이 계산 복잡도에 미치는 영향을 탐구하는 것.
• 강한 반발력을 가진 반자성 이징 모델에서 효율적 알고리즘이 가능함을 보여주는 것.

제안 방법

• Feldman 등이 제안한 통계적 질의 모델을 사용하여 구조 학습의 계산 복잡도를 분석한다.
• 구조 학습 문제를 노이즈가 있는 파리티 학습 문제에 등가로 환원한다.
• 하드 인스턴스를 모델링하기 위해 크기가 $d$인 부분집합 위의 소프트 파리티 분포 가족을 구성한다.
• 평균 상관관계 프레임워크를 적용하여 질의 복잡도에 대한 하한을 유도한다.
• 상호작용 강도에 따라 $\widetilde{O}(p^2)$ 와 $\widetilde{O}(p^{d+2})$ 사이를 보간하는 새로운 알고리즘을 설계한다.
• 상관관계 감쇠 분석을 통해 강한 반발력이 빠른 혼합과 효율적 학습을 이끌어내는 것을 보여준다.

실험 결과

연구 질문

• RQ1 최대 차수 $d$를 가진 일반 그래프 모델의 구조 학습이 $p^{d}$보다 훨씬 낮은 시간 내에 수행될 수 있는가?
• RQ2 최적의 표본 복잡도를 가질지라도 일반 모델 학습에 근본적인 계산 장벽이 존재하는가?
• RQ3 강한 반발력을 가진 반자성 이징 모델은 일반적인 어려움에도 불구하고 효율적 구조 학습을 가능하게 하는가?
• RQ4 상호작용 강도가 이징 모델의 구조 학습 계산 복잡도에 어떤 영향을 미치는가?
• RQ5 상관관계 감쇠 성질을 강한 반발력으로 대체할 수 있으며, 이는 다루기 쉬운 학습을 가능하게 하는가?

주요 결과

• 최대 차수 $d$를 가진 일반 그래프 모델 학습에 대해 통계적 알고리즘에 대해 $\Omega(p^{d/2})$의 조건 없는 계산 하한을 확립하며, 이는 $\widetilde{O}(p^{d+2})$ 완전 탐색이 거의 최적임을 시사한다.
• 하드 결과는 노이즈가 있는 파리티 학습 문제와 연결되며, 이는 기존 알고리즘 접근 방식이 구조적 가정 없이 본질적으로 제한됨을 보여준다.
• 강한 반발력을 가진 반자성 이징 모델에서는 $\widetilde{O}(p^2)$ 시간 내에 구조 학습이 가능하며, 일반 경우보다 훨씬 빠르다.
• 제안된 알고리즘의 실행 시간은 상호작용 강도에 따라 $\widetilde{O}(p^2)$ 와 $\widetilde{O}(p^{d+2})$ 사이를 보간한다.
• 강한 반발력은 효율적 학습을 가능하게 하는 효과적인 비상관관계를 유도하며, 이는 상관관계 감쇠 임계값을 초과할 경우 저복잡도 알고리즘이 실패하는 자성 모델과 대조된다.
• 통계적 차원 프레임워크는 하드 인스턴스 가족(소프트 파리티)이 높은 복잡도를 가지며, 이는 하한의 타당성을 검증한다.