[논문 리뷰] Lower bounds for testing graphical models: colorings and antiferromagnetic Ising models

Ivona Bezáková, Antonio Blanca외 3명|arXiv (Cornell University)|2019. 01. 22.

Machine Learning and Algorithms참고 문헌 53인용 수 4

한 줄 요약

이 논문은 그래픽 모델에서 신원 테스팅의 계산적 하한을 설정하며, 반반자성 이징 모델과 적절한 색칠 문제에서 신원 테스팅이 구조 학습만큼 어렵다는 것을 보여준다. |β|d = ω(log n) 조건 하에서, 신원 테스팅은 RP=NP가 아닐 경우 NP-난이도이며, #BIS 가정 하에 색칠 문제에 대해서도 유사한 난이도가 성립한다. 이는 이러한 설정에서 구조 학습보다는 유의미한 계산적 이점이 없다는 것을 시사한다.

ABSTRACT

We study the identity testing problem in the context of spin systems or undirected graphical models, where it takes the following form: given the parameter specification of the model $M$ and a sampling oracle for the distribution $μ_{\hat{M}}$ of an unknown model $\hat{M}$, can we efficiently determine if the two models $M$ and $\hat{M}$ are the same? We consider identity testing for both soft-constraint and hard-constraint systems. In particular, we prove hardness results in two prototypical cases, the Ising model and proper colorings, and explore whether identity testing is any easier than structure learning. For the ferromagnetic (attractive) Ising model, Daskalakis et al. (2018) presented a polynomial time algorithm for identity testing. We prove hardness results in the antiferromagnetic (repulsive) setting in the same regime of parameters where structure learning is known to require a super-polynomial number of samples. In particular, for $n$-vertex graphs of maximum degree $d$, we prove that if $|β| d = ω(\log{n})$ (where $β$ is the inverse temperature parameter), then there is no polynomial running time identity testing algorithm unless $RP=NP$. We also establish computational lower bounds for a broader set of parameters under the (randomized) exponential time hypothesis. Our proofs utilize insights into the design of gadgets using random graphs in recent works concerning the hardness of approximate counting by Sly (2010). In the hard-constraint setting, we present hardness results for identity testing for proper colorings. Our results are based on the presumed hardness of #BIS, the problem of (approximately) counting independent sets in bipartite graphs. In particular, we prove that identity testing is hard in the same range of parameters where structure learning is known to be hard.

연구 동기 및 목표

• 그래픽 모델에서의 신원 테스팅이 구조 학습보다 계산적으로 더 쉬운가를 조사하기 위해.
• 구조 학습이 알려진 바와 같이 어려운 경우에 반반자성 이징 모델에서의 신원 테스팅에 대한 난이도 결과를 설정하기 위해.
• #BIS 가정 하에 하드 컨스트레인트 시스템, 특히 적절한 3색칠 문제로 이러한 난이도 결과를 확장하기 위해.
• 진짜 모델의 매개변수들이 초수학적 샘플을 요구하는 영역에 있을 때조차도 신원 테스팅이 여전히 어려운가를 판단하기 위해.
• 역온도 β와 그래프의 차수 d가 신원 테스팅의 복잡도를 결정하는 데 어떤 역할을 하는가를 탐색하기 위해.

제안 방법

• Sly(2010)의 영감을 받은 무작위 그래프를 기반으로 한 기구를 사용하여 반반자성 이징 모델에서의 신원 테스팅에 대한 계산적 하한을 증명하기 위해.
• 분포 비교를 위해 분할 함수와 총 변동 거리를 사용하며, 구성 수를 통해 경계를 유도하기 위해.
• 다양한 매개변수 설정 하에서 유효한 구성 수를 분석하기 위해 단위 벡터를 갖는 그래프의 가족을 구성하기 위해.
• 대칭성과 알려진 적절한 3색칠 수에 대한 결과를 활용하여, 특정 단위 패턴을 갖는 색칠 수인 |Ω^A|와 |Ω^B|에 대한 경계를 유도하기 위해.
• 무작위 지수 시간 가정을 적용하여 NP-난이도 영역을 초월한 난이도 결과를 확장하기 위해.
• 샘플링 오라클과 단위 벡터 샘플링 기법을 사용하여 분포를 시뮬레이션하고 색칠 모델에서의 신원 테스팅을 테스트하기 위해.

실험 결과

연구 질문

• RQ1 반반자성 이징 모델에서의 신원 테스팅은 구조 학습보다 계산적으로 더 쉽기만 한가?
• RQ2 반반자성 이징 모델에서의 신원 테스팅이 언제 NP-난이도가 되는가?
• RQ3 #BIS 가정 하에 적절한 색칠 문제에서의 신원 테스팅 난이도는 구조 학습의 난이도와 일치하는가?
• RQ4 |β|d = ω(log n)일 때, 구조 학습이 초수학적 샘플을 요구하더라도 신원 테스팅이 다항 시간 내에 해결 가능한가?
• RQ5 역온도 β와 최대 차수 d는 신원 테스팅의 복잡도를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 반반자성 이징 모델에서의 신원 테스팅은 |β|d = ω(log n) 조건 하에서 RP=NP가 아닐 경우 NP-난이도이며, 이는 구조 학습이 초수학적 샘플을 요구하는 매개변수 영역과 정확히 일치한다.
• 적절한 3색칠 문제에 대해서는, #BIS 가정 하에 동일한 매개변수 영역에서 구조 학습이 알려진 바와 같이 어려운 영역에서 신원 테스팅도 어려운 것으로 나타났다.
• 두 모델의 분포 간 총 변동 거리는 분할 함수 비율의 함수로 경계가 되며, 구성 수 계산을 통해 난이도 증명이 가능하다.
• Z₃(H) < 2^{ℓ/k} - 2 이면, 총 변동 거리는 2((Z₃(H)+2)/2^{ℓ/k})^k 이하이며, Z₃(H)가 작을 경우 지수적으로 감소한다.
• Z₃(H) ≥ 2^{ℓ/k} - 2 이면, 총 변동 거리는 1/2(1 - ((Z₃(B)+2)/(Z₃(H)+2))^k) 이하로 경계가 되며, Z₃(H)가 클 경우 비트리비얼한 분리가 발생함을 보여준다.
• 색칠 모델의 샘플링 알고리즘은 O(n) 시간 내에 실행되며, 단위 벡터 샘플링 방법은 오라클 모델 하에서 목표 분포의 효율적 시뮬레이션을 가능하게 한다.