[논문 리뷰] Contextual Symmetries in Probabilistic Graphical Models

Ankit Anand, Aditya Grover외 2명|arXiv (Cornell University)|2016. 06. 30.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 5

한 줄 요약

이 논문은 조건부 변수 할당(맥락) 하에서만 성립하는 비율적 그래픽 모델의 문맥적 대칭성—기존의 무조건적 대칭성보다 일반화된 대칭성—을 도입한다. 저자들은 맥락적 대칭성 탐지를 색칠된 그래프 이somorphism 문제로 환원함으로써, 이러한 대칭성을 활용하는 Con-MCMC라는 MCMC 추론 알고리즘을 개발하였으며, 관계형 및 문장형 도메인에서 기존의 깁스 샘플링과 오르비탈 MCMC에 비해 뚜렷한 계산적 성과를 보였다.

ABSTRACT

An important approach for efficient inference in probabilistic graphical models exploits symmetries among objects in the domain. Symmetric variables (states) are collapsed into meta-variables (meta-states) and inference algorithms are run over the lifted graphical model instead of the flat one. Our paper extends existing definitions of symmetry by introducing the novel notion of contextual symmetry. Two states that are not globally symmetric, can be contextually symmetric under some specific assignment to a subset of variables, referred to as the context variables. Contextual symmetry subsumes previous symmetry definitions and can rep resent a large class of symmetries not representable earlier. We show how to compute contextual symmetries by reducing it to the problem of graph isomorphism. We extend previous work on exploiting symmetries in the MCMC framework to the case of contextual symmetries. Our experiments on several domains of interest demonstrate that exploiting contextual symmetries can result in significant computational gains.

연구 동기 및 목표

• 기존의 상수 대칭성만을 고려하는 업그레이드된 추론 방법의 한계를 해결함—이는 맥락 의존 도메인에서는 성립하지 않을 수 있음.
• 특정 맥락 변수 할당 하에서만 나타나는 맥락적 대칭성을 정의하는 공식적 프레임워크를 제안함.
• 문제를 색칠된 그래프 이somorphism 문제로 환원함으로써 맥락적 대칭성을 효율적으로 계산하는 알고리즘을 개발함.
• 오르비탈 MCMC 프레임워크를 확장하여 맥락 민감한 대칭성을 다룰 수 있도록 함으로써, 맥락적 대칭성이 존재하는 도메인에서 더 효율적인 MCMC 샘플링을 가능하게 함.
• 다양한 관계형 및 문장형 도메인에서의 실증적 평가를 통해 맥락적 대칭성의 실용적 이점을 입증함.

제안 방법

• 주어진 맥락(맥락 변수의 할당) 하에서 그래픽 모델의 구조와 확률 분포를 유지하는 상태의 순열로 맥락적 대칭성을 정의함.
• 맥락 의존 제약 조건을 포함한 색칠된 그래프 표현을 구성함으로써 맥락적 대칭성의 계산을 색칠된 그래프 이somorphism 문제로 환원함.
• 기존의 효율적인 색칠된 그래프 이somorphism 솔버(예: nauty)를 활용하여 맥락별 그래프의 자동형군을 계산함.
• 맥락적 대칭성을 활용해 대칭 상태 간의 이동을 제안하는 Con-MCMC라는 MCMC 샘플러를 설계함으로써 혼합 시간을 감소시킴.
• 샘플링 중에 각 맥락에 대해 동적으로 대칭성을 계산함으로써 맥락적 대칭성 탐지를 MCMC 과정에 통합함.
• Con-MCMC의 참조 코드베이스를 구현 및 공개함으로써 재현 가능성과 광범위한 도입을 지원함.

실험 결과

연구 질문

• RQ1 확률적 그래픽 모델에서의 대칭성은 기존의 무조건적 대칭성 외에도 변수 할당 조건에 따라 조건화될 수 있는가?
• RQ2 실제로 맥락적 대칭성을 효율적으로 계산하는 방법은 무엇이며, 어떤 계산 환원 기법을 사용할 수 있는가?
• RQ3 맥락적 대칭성은 일반적인 MCMC 추론 프레임워크 내에서 활용되어 혼합 시간과 수렴 속도를 향상시킬 수 있는가?
• RQ4 성능 및 확장성 측면에서 기존의 대칭 기반 추론 방법과 비교해 맥락적 대칭성은 어떠한가?
• RQ5 맥락적 대칭성이 자연스럽게 발생하고 계산적 이점을 가져다주는 도메인의 유형(관계형 또는 문장형)은 무엇인가?

주요 결과

• 맥락적 대칭성은 맥락에 따라만 나타나는 특성으로, 이는 이전의 대칭 정의(예: 궤도 대칭성)를 일반화하고 포함함.
• 맥락적 대칭성의 계산은 색칠된 그래프 이somorphism 문제로 환원되어 기존의 솔버를 활용해 효율적인 탐지가 가능함.
• 여러 도메인에서 Con-MCMC는 혼합 시간과 수렴 속도 측면에서 깁스 샘플링과 오르비탈 MCMC를 모두 뛰어넘음.
• 관계형 및 문장형 모델에 대한 실험에서, 맥락 의존적 대칭성이 존재하는 도메인에서 Con-MCMC는 뚜렷한 계산적 성과를 기록함.
• 프레임워크는 강건함: 실험 전반에서 Con-MCMC는 깁스 샘플링보다 열 劣한 성능을 보이지 않았으며, 증거가 존재하더라도 마찬가지였음. 비록 이론적으로는 병적인 경우가 존재할 수 있음.
• Con-MCMC의 오픈소스 공개는 연구자들이 맥락적 대칭성을 실제 추론 작업에 적용할 수 있는 실용적 도구를 제공함.