[논문 리뷰] Non-Count Symmetries in Boolean & Multi-Valued Prob. Graphical Models

Ankit Anand, Ritesh Noothigattu외 1명|arXiv (Cornell University)|2017. 04. 10.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 부울 및 다중값 확률적 그래픽 모델에서 기존의 수량 대칭성 이외의 업그레이드된 상향 추론을 가능하게 하기 위해 변수-값(VV) 쌍 대칭성을 도입한다. 저자들은 대칭성 계산을 변수 수준에서 변수-값(VV) 쌍 수준으로 재정의함으로써, VV-오르비탈 MCMC 및 NEC-오르비탈 MCMC를 개발하였으며, 이는 비수량 및 비동일 기수 대칭성을 활용하여 Curriculum 및 Ring과 같은 실제 도메인에서 MCMC 추론의 상당한 계산 속도 향상을 달성한다.

ABSTRACT

Lifted inference algorithms commonly exploit symmetries in a probabilistic graphical model (PGM) for efficient inference. However, existing algorithms for Boolean-valued domains can identify only those pairs of states as symmetric, in which the number of ones and zeros match exactly (count symmetries). Moreover, algorithms for lifted inference in multi-valued domains also compute a multi-valued extension of count symmetries only. These algorithms miss many symmetries in a domain. In this paper, we present first algorithms to compute non-count symmetries in both Boolean-valued and multi-valued domains. Our methods can also find symmetries between multi-valued variables that have different domain cardinalities. The key insight in the algorithms is that they change the unit of symmetry computation from a variable to a variable-value (VV) pair. Our experiments find that exploiting these symmetries in MCMC can obtain substantial computational gains over existing algorithms.

연구 동기 및 목표

• 기존의 상향 추론 알고리즘이 부울 및 다중값 도메인에서 수량 대칭성만 탐지할 수 있는 한계를 해결하기 위해.
• 서로 다른 대칭 상태 간의 값 수가 다를 수 있는 비수량 대칭성을 식별하기 위한 새로운 프레임워크를 개발하기 위해.
• 다른 도메인 기수를 가진 변수 간의 비동일 기수 대칭성을 다룰 수 있도록 프레임워크를 확장하기 위해.
• 비동일 기수 대칭성을 활용하기 위한 오르비탈 MCMC의 메트로폴리스-해스팅스 변형을 설계하기 위해.
• 이러한 새로운 대칭 클래스가 MCMC 추론에서 상당한 계산적 이점을 가져오는지 실증적으로 검증하기 위해.

제안 방법

• 대칭성 계산을 변수에서 변수-값(VV) 쌍으로 재정의하여, 서로 다른 변수의 서로 다른 값 간의 교환을 가능하게 한다.
• VV 자동군을 변수-값 쌍에 작용하는 치환군으로 정의하여, 기존의 변수 대칭군을 일반화한다.
• 구축된 VV 상호작용 그래프에서 그래프 이sovomorphism 기법을 사용하여 VV 자동군을 계산하는 알고리즘을 개발한다.
• 다른 기수를 가진 변수의 VV 쌍이 대칭일 수 있도록 허용함으로써 비동일 기수 대칭성을 탐지할 수 있도록 프레임워크를 확장한다.
• 비동일 기수 대칭성을 활용하기 위한 오르비탈 MCMC의 메트로폴리스-해스팅스 변형인 NEC-오르비탈 MCMC를 설계한다.
• 오빗 기반 상태 클러스터링을 통해 중복 계산을 줄이고, MCMC에서 대칭 인식 제안 분포를 적용한다.

실험 결과

연구 질문

• RQ1 부울 및 다중값 PGM에서 정확한 값 수 일치 외의 대칭성이 식별될 수 있는가?
• RQ2 대칭성이 변수가 아닌 변수-값(VV) 쌍에 대해 정의되고 계산될 수 있는가?
• RQ3 다른 도메인 크기를 가진 변수 간의 비동일 기수 대칭성이 탐지되고 활용될 수 있는가?
• RQ4 이러한 새로운 대칭 클래스를 활용하면 MCMC 추론이 상당히 가속화될 수 있는가?
• RQ5 제안된 알고리즘은 오르비탈 MCMC 및 일반적인 겔즈 샘플링과 같은 기존 베이스라인과 실질적으로 어떻게 비교되는가?

주요 결과

• 메시지 전달 도메인에서 VV-오르비탈 MCMC는 오르비탈 MCMC 및 일반적인 겔즈 샘플링보다 극적으로 빠른 성능을 보였다. 이 도메인에서는 수량 대칭성이 부족하기 때문이다.
• 비동일 기수 대칭성이 존재하는 Curriculum 도메인에서 NEC-오르비탈 MCMC는 이진화된 오르비탈 MCMC 및 일반적인 겔즈 샘플링을 모두 능가하는 성능을 보였다.
• 대칭성 탐지 오버헤드는 매우 미미했다—Curriculum 도메인에서 0.250초, Ring 도메인에서 0.009초로, 확장성이 뛰어나다.
• 비수량 대칭성이 없는 도메인에서는 제안된 알고리즘이 이진화된 오르비탈 MCMC와 거의 동일한 성능을 보였으며, 이는 추가 오버헤드가 거의 없음을 시사한다.
• 결과적으로 비수량 및 비동일 기수 대칭성이 실제 모델에서 흔히 존재하며, 추론 가속화에 효과적으로 활용될 수 있음을 입증하였다.
• 이 프레임워크는 이전에 인식된 바보다 더 넓은 대칭 클래스를 가능하게 하여, 상향 추론의 적용 범위를 크게 확장한다.