[논문 리뷰] Learning Planar Ising Models

Jason K. Johnson, Praneeth Netrapalli외 1명|arXiv (Cornell University)|2010. 11. 15.

Bayesian Methods and Mixture Models참고 문헌 24인용 수 3

한 줄 요약

이 논문은 이산 확률 변수 간의 상관관계를 이용해 최적의 평면 이징 모델 근사를 학습하기 위한 탐욕 알고리즘을 제안한다. 평면 이징 모델에서의 계산 가능 추론과 효율적인 평면성 테스트를 활용하여, 관측된 상관관계에 가장 잘 맞는 최대 평면 그래프를 구성한다. 시뮬레이션에서는 정확한 복원을 달성했고, 미국 상원의 투표 패턴을 높은 정확도로 모델링하였다.

ABSTRACT

Inference and learning of graphical models are both well-studied problems in statistics and machine learning that have found many applications in science and engineering. However, exact inference is intractable in general graphical models, which suggests the problem of seeking the best approximation to a collection of random variables within some tractable family of graphical models. In this paper, we focus our attention on the class of planar Ising models, for which inference is tractable using techniques of statistical physics [Kac and Ward; Kasteleyn]. Based on these techniques and recent methods for planarity testing and planar embedding [Chrobak and Payne], we propose a simple greedy algorithm for learning the best planar Ising model to approximate an arbitrary collection of binary random variables (possibly from sample data). Given the set of all pairwise correlations among variables, we select a planar graph and optimal planar Ising model defined on this graph to best approximate that set of correlations. We demonstrate our method in some simulations and for the application of modeling senate voting records.

연구 동기 및 목표

• 일반적인 모델에서 정확한 추론이 불가능할 경우에도 계산이 가능한 그래픽 모델 학습 방법을 개발하기 위해.
• 관측된 이원 상관관계와 일치하는 평면 이징 모델로 이진 확률 변수의 집합을 근사하기 위해.
• 평면 그래프와 이징 모델 추론에 대한 기존 기법을 활용해 그래픽 구조와 모수를 효율적으로 학습할 수 있도록 하기 위해.
• 실제 데이터, 예를 들어 미국 상원 투표 기록과 같은 데이터에 적용하여 잠재적 상호작용 구조를 밝혀내기 위해.
• 더 넓은 적용 가능성을 위해 외부 평면(non-zero-field outer-planar) 모델로의 프레임워크 확장을 위해.

제안 방법

• 관측된 이원 상관관계를 가장 잘 맞추는 엣지를 반복적으로 추가하는 탐욕 알고리즘을 사용하여 그래프를 구성한다.
• 각 단계에서 그래프가 여전히 평면성을 유지하도록 평면성 테스트 및 임베딩 알고리즘(예: Chrobak와 Payne)을 적용한다.
• 행렬 행렬식 계산(Kac-Ward, Kasteleyn)을 통한 계산 가능 이징 모델 추론을 활용하여 분할 함수와 가능도를 효율적으로 계산한다.
• 평면 이징 모델 하에서 관측된 이원 모멘트의 로그 가능도를 최대화하는 방식으로 학습 문제를 설정한다.
• 비영 평균 모델의 경우, 외부 평면 모델을 계산이 가능한 영 평균 평면 모델로 변환하기 위해 보조 노드 기법을 사용한다.
• 모의 실험 검증을 위해 알려진 모델에서 깁스 샘플링을 사용해 경험적 데이터를 생성한다.

실험 결과

연구 질문

• RQ1 탐욕 알고리즘이 이진 확률 변수 간의 주어진 이원 상관관계를 가장 잘 근사하는 평면 이징 모델을 효율적으로 학습할 수 있는가?
• RQ2 이원 모멘트만 제공될 경우, 방법이 진짜 그래픽 구조를 얼마나 잘 복원하는가?
• RQ3 계산이 가능한 추론이 가능한 외부 평면 그래프 상의 비영 평균 이징 모델을 모델링하기 위해 방법을 확장할 수 있는가?
• RQ4 실제 의존성, 예를 들어 미국 상원 투표 패턴에서의 의존성 구조를 학습된 모델이 얼마나 정확하게 포착하는가?
• RQ5 표본 크기가 그래픽 모델 복원 정확도에 어떤 영향을 미치는가?

주요 결과

• 10^5개의 표본을 사용할 경우, 시뮬레이션에서 기반 평면 그래픽 모델을 완전히 복원하였다.
• 10^4개의 표본을 사용할 경우, 영 평균 평면 이징 모델과 비영 평균 외부 평면 이징 모델 모두에서 진짜 모델을 정확히 복원하였다.
• 미국 상원 투표 데이터 분석에서, 학습된 평면 그래프가 정당 소속과 동료 협력 패턴(예: 샌더스와 리버먼이 오직 민주당 소속 의원들과만 연결됨)을 정확히 포착하였다.
• 회복된 모델에서 잘못된 엣지의 수는 표본 크가 증가함에 따라 크게 감소하였으며, 10^3개 표본에서는 0.18에서 시작해 10^4개 표본에서는 0으로 감소하였다.
• 메크클라인이 공화당 소속 의원들과 잘 연결되어 있으며, 레이드가 덜 중심적인 역할을 한다는 점을 성공적으로 식별하였다. 이는 알려진 정치적 동적 구조와 일치하였다.
• 알고리즘의 성능은 강인하고 확장 가능하며, 충분한 표본 수가 확보되면 정확한 복원이 관찰되었다.