[논문 리뷰] Spectral Methods for Learning Multivariate Latent Tree Structure

Animashree Anandkumar, Kamalika Chaudhuri외 4명|arXiv (Cornell University)|2011. 07. 07.

Bayesian Modeling and Causal Inference참고 문헌 33인용 수 28

한 줄 요약

이 논문은 연속형, 이산형 또는 혼합형 변수를 가진 다변량 잠재수형 트리 모델의 구조를 학습하기 위한 스펙트럴 재귀 그룹화(Spectral Recursive Grouping) 알고리즘을 제안한다. 두 번째 순서 통계에 기반한 스펙트럴 쿼르텟 테스트를 활용함으로써, 관측 변수의 차원에 의존하지 않는 유한 표본 보장 하에 정확한 트리 구조 복원이 가능하며, 이는 기저 분포의 성질에 따라 유리하게 스케일링되는 표본 복잡도를 달성한다.

ABSTRACT

This work considers the problem of learning the structure of multivariate linear tree models, which include a variety of directed tree graphical models with continuous, discrete, and mixed latent variables such as linear-Gaussian models, hidden Markov models, Gaussian mixture models, and Markov evolutionary trees. The setting is one where we only have samples from certain observed variables in the tree, and our goal is to estimate the tree structure (i.e., the graph of how the underlying hidden variables are connected to each other and to the observed variables). We propose the Spectral Recursive Grouping algorithm, an efficient and simple bottom-up procedure for recovering the tree structure from independent samples of the observed variables. Our finite sample size bounds for exact recovery of the tree structure reveal certain natural dependencies on underlying statistical and structural properties of the underlying joint distribution. Furthermore, our sample complexity guarantees have no explicit dependence on the dimensionality of the observed variables, making the algorithm applicable to many high-dimensional settings. At the heart of our algorithm is a spectral quartet test for determining the relative topology of a quartet of variables from second-order statistics.

연구 동기 및 목표

• 혼합형 잠재변수와 관측변수를 가진 다변량 잠재수형 트리 모델의 구조 학습 문제를 해결하기 위해.
• 기존 방법이 실패하는 고차원 설정에서 추정 오차에 강건한 방법을 개발하기 위해.
• 관측 변수의 차원에 명시적인 의존성이 없이, 정확한 트리 구조 복원을 위한 유한 표본 보장을 제공하기 위해.
• 기존의 쿼르텟 기반 방법을 이산형 또는 스칼라 정규 분포의 경우를 초월한 다변량, 비스칼라 잠재수형 트리 모델로 확장하기 위해.
• 히든 마크프로세스, 가우시안 혼합모형, 진화수형 트리 등 다양한 그래픽 모델에 걸쳐 스펙트럴 기법을 통합하고 일반화하기 위해.

제안 방법

• 스펙트럴 쿼르텟 테스트를 기반으로 하는 하향식, 재귀적 절차인 스펙트럴 재귀 그룹화 알고리즘을 제안한다.
• 임의의 네 변수의 상대적 트리 구조를 추론하기 위해 두 번째 순서 통계를 사용하는 스펙트럴 쿼르텟 테스트를 적용한다.
• 잎 성분 분석을 통해 부모-자식 관계를 결정하는 관계 서브루틴을 이용한 재귀적 병합 전략을 사용한다.
• 모든 단계에서 부분수형 간의 불중복성과 잎 집합의 분할을 유지하기 위해 루프 불변성을 활용한다.
• 쿼르텟 구성에 의해 조건부 인적 패턴을 탐지하기 위해 공분산 또는 상관계수 행렬의 스펙트럴 분해를 적용한다.
• 수복 구조 제약 조건을 기반으로 한 병합 가능성 테스트를 도입하여 재구성 과정에서 유효한 부모-자식 관계를 결정한다.

실험 결과

연구 질문

• RQ1 스펙트럴 방법은 연속형과 이산형 변수를 혼합한 다변량 잠재수형 트리 모델의 구조 학습에 확장될 수 있는가?
• RQ2 스펙트럴 기법을 사용할 때 정확한 트리 구조 복원의 유한 표본 표본 복잡도는 무엇인가?
• RQ3 고차원 설정에서 추정 오차에 강건한 쿼르텟 기반 테스트는 어떻게 설계할 수 있는가?
• RQ4 표본 복잡도를 관측 변수의 차원에 독립적으로 만들 수 있는가?
• RQ5 스펙트럴 알고리즘의 잠재수형 트리 학습 성능을 결정하는 구조적 및 통계적 성질은 무엇인가?

주요 결과

• 스펙트럴 재귀 그룹화 알고리즘은 유한 표본 크기 하에서 높은 확률로 정확한 트리 구조 복원을 달성한다.
• 표본 복잡도는 고유의 통계적 및 구조적 성질, 예를 들어 고유값 갭과 상관관계 감쇠와 같은 분포의 특성에 따라 달라진다.
• 이 방법의 표본 복잡도는 관측 변수의 차원에 명시적인 의존성이 없어 고차원 데이터에 적용 가능하다.
• 스펙트럴 쿼르텟 테스트는 두 번째 순서 통계에서 상대적 쿼르텟 구조를 탐지함으로써 강건한 구조 복원을 가능하게 한다.
• 유한 표본 경계는 유리한 조건 하에서 표본 수가 잎의 수에 대해 로그 스케일로 증가할 경우 알고리즘이 성공함을 보여준다.
• 루프 불변성과 잎 성분, 병합 가능성에 관한 보조정리들을 통해 이론적 보장을 확립하여 재귀적 그룹화의 정확성을 보장한다.