[논문 리뷰] Learning High-Dimensional Mixtures of Graphical Models

Animashree Anandkumar, Daniel Hsu외 2명|arXiv (Cornell University)|2012. 03. 04.

Bayesian Modeling and Causal Inference참고 문헌 35인용 수 6

한 줄 요약

이 논문은 트리 혼합 모델로 근사함으로써 고차원 이산 그래프 모델 혼합모델을 학습하는 새로운 효율적인 방법을 제안한다. 스펙트럼 분해와 조건부 독립 테스트를 활용하여 희박한 분리자 조건 하에서 유니온 그래프 구조와 구성 요소 파라미터를 복원하며, 트리 혼합모델과 유사한 모델들에 대해 다항수준의 표본 및 계산 복잡도를 달성한다.

ABSTRACT

We consider unsupervised estimation of mixtures of discrete graphical models, where the class variable corresponding to the mixture components is hidden and each mixture component over the observed variables can have a potentially different Markov graph structure and parameters. We propose a novel approach for estimating the mixture components, and our output is a tree-mixture model which serves as a good approximation to the underlying graphical model mixture. Our method is efficient when the union graph, which is the union of the Markov graphs of the mixture components, has sparse vertex separators between any pair of observed variables. This includes tree mixtures and mixtures of bounded degree graphs. For such models, we prove that our method correctly recovers the union graph structure and the tree structures corresponding to maximum-likelihood tree approximations of the mixture components. The sample and computational complexities of our method scale as $\poly(p, r)$, for an $r$-component mixture of $p$-variate graphical models. We further extend our results to the case when the union graph has sparse local separators between any pair of observed variables, such as mixtures of locally tree-like graphs, and the mixture components are in the regime of correlation decay.

연구 동기 및 목표

• 성분의 구조와 파라미터가 알려져 있지 않으며, 클래스 변수가 은폐된 고차원 이산 그래프 모델 혼합모델 학습의 과제를 해결한다.
• EM 기반 방법의 한계를 극복하며, 고차원에서의 스케일링이 떨어지고 이론적 보장이 없는 문제를 해결한다.
• 유니온 그래프에 희박한 정점 분리자가 존재할 경우, 구성 요소를 증명 가능하게 효율적으로 추정하는 방법을 개발한다. 이는 트리 근사에 의한 다루기 쉬운 추론을 가능하게 한다.
• 제품 분포 혼합모델을 넘어서 더 풍부한 모델, 예를 들어 트리 혼합모델과 유사한 유한 차수 그래프 모델까지 이론적 보장을 확장한다.
• 표본 및 계산 효율성을 확보하는 그래프 모델 선택과 스펙트럼 분해를 통합한 유일한 프레임워크를 제공한다.

제안 방법

• 조건부 독립 테스트를 일반화한 랭크 기반 기준을 사용하여 유니온 그래프의 구조를 추정하고, 마르코프 그래프의 유니온 내 이웃을 식별한다.
• 관측된 이元분포를 구성 요소 모델로 분해하기 위해 스펙트럼 분해를 적용하며, 제품 분포 혼합 모델에서 유래한 기법을 적응한다.
• 세 단계 파ip라인을 사용한다: (1) 유니온 그래프 추정, (2) 스펙트럼 방법을 통한 파라미터 추정, (3) 각 혼합 성분의 트리 근사.
• 모델 잘못 지정 시의 고유값 및 고유벡터 추정 오차를 제한하기 위해 행렬 편향 이론(레미마 15–17)을 활용한다.
• 스펙트럼 분해 과정에서 조건수와 고유값 갭을 제어하여 강건성을 확보한다.
• 최대우도 구조를 유지하면서 효율적인 믿음 전파 추론을 가능하게 하는 트리 혼합 근사 모델을 구성한다.

실험 결과

연구 질문

• RQ1 혼합 성분의 그래프 구조와 파라미터가 서로 다를 경우, 고차원 이산 그래프 모델 혼합모델을 효율적으로 학습할 수 있는가?
• RQ2 유니온 그래프의 어떤 구조적 조건(예: 희박한 분리자) 하에서 제안된 방법이 증명 가능한 표본 및 계산 효율성을 달성하는가?
• RQ3 잠재 클래스 변수가 관측되지 않을 경우, 혼합 모델의 파라미터와 구성 요소 구조를 정확하게 추정할 수 있는가?
• RQ4 데이터 피팅과 추론의 용이성 측면에서, 일반 그래프 모델 혼합모델에 대해 트리 혼합 모델이 어느 정도 좋은 근사가 될 수 있는가?
• RQ5 특히 고차원 설정에서 그래프 모델 혼합 모델의 맥락에서 스펙트럼 기반 추정에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• 이 방법은 $\operatorname{poly}(p,r)$ 수준의 다항식 표본 및 계산 복잡도를 달성하며, $p$변량 그래프 모델의 $r$개 성분 혼합 모델에 대해 적용 가능하다.
• 유니온 그래프에 희박한 정점 분리자가 존재할 경우, 유니온 그래프의 구조가 정확히 복원된다. 이는 트리 혼합모델과 유한 차수 그래프에 대해 성립한다.
• 동일한 구조적 가정 하에, 최대우도 트리 근사가 성분에 대해 회복된다.
• 이론적 보장은 국소적으로 트리처럼 생긴 그래프와 같은 희박한 국소 분리자와 상관관계 감쇠를 가지는 모델로 확장된다.
• 스펙트럼 분해 기법이 그래프 모델 혼합 모델에 성공적으로 적응되었으며, 행렬 편향 이론을 통해 오차 한계가 유도되었다.
• 유사한 조건 하에서 구조 및 파라미터의 증명 가능한 복원이 가능하며, 확장성과 이론적 신뢰성 측면에서 EM보다 뛰어나다.