[논문 리뷰] Guaranteed Scalable Learning of Latent Tree Models

Furong Huang, U. N. Niranjan외 4명|CaltechAUTHORS (California Institute of Technology)|2014. 06. 18.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 4

한 줄 요약

이 논문은 분할 정복 프레임워크를 통해 구조 및 매개변수 추정을 통합함으로써 잠재 트리 모델을 보장되고 확장 가능한 방법으로 학습하는 방법을 제시한다. 텐서 분해와 모멘트 방법을 사용하여 로그(p)의 계산 복잡도와 O(로그 p)의 병렬 시간을 가지며, 이는 이산, 가우시안, 가우시안 혼합 모델 전반에 걸쳐 구조 및 매개변수 추정에 대해 로그(k)의 표본 복잡도를 달성한다.

ABSTRACT

We present an integrated approach for structure and parameter estimation in latent tree graphical models. Our overall approach follows a "divide-and-conquer" strategy that learns models over small groups of variables and iteratively merges onto a global solution. The structure learning involves combinatorial operations such as minimum spanning tree construction and local recursive grouping; the parameter learning is based on the method of moments and on tensor decompositions. Our method is guaranteed to correctly recover the unknown tree structure and the model parameters with low sample complexity for the class of linear multivariate latent tree models which includes discrete and Gaussian distributions, and Gaussian mixtures. Our bulk asynchronous parallel algorithm is implemented in parallel and the parallel computation complexity increases only logarithmically with the number of variables and linearly with dimensionality of each variable.

연구 동기 및 목표

• 잠재 트리 모델에서 일관되고 확장 가능하며 병렬 처리 가능한 구조 및 매개변수 추정의 부족을 해결하기 위해.
• 기존 방법에서 구조 학습과 매개변수 추정 간의 순차적 의존성을 극복하기 위해.
• 낮은 표본 복잡도로 전역 일관성 있는 구조 및 매개변수 복원을 달성하기 위해.
• 변수 수에 대해 로그 시간 복잡도를 가지며 효율적이고 대량 비동기 병렬 계산을 가능하게 하기 위해.
• 보장된 정렬과 잠재 매개변수 복원을 갖춘 텐서 분해 방법을 계층적 모델로 확장하기 위해.

제안 방법

• 이 방법은 변수를 로컬 부분 트리로 반복적으로 그룹화하여 병렬 처리할 수 있도록 하는 분할 정복 전략을 사용한다.
• 구조 학습은 이변량 정보 거리 간의 최소 스패닝 트리(MST) 구성에 의해 수행된다.
• 로컬 재귀적 그룹화(LRG)는 부분 트리를 식별하고 확장 가능한 분산 구조 추정을 가능하게 한다.
• 매개변수 추정은 모멘트 방법과 고차 텐서 분해를 사용하여 일관된 잠재 매개변수 복원을 수행한다.
• 새로운 텐서 스펙트럼 정렬 절차는 특이값 분해(SVD)와 행렬 정렬 기법을 통해 유도된 치환 행렬을 사용하여 부분 트리 간의 매개변수를 정렬한다.
• 알고리즘은 희소 행렬 연산과 랜덤화 SVD를 활용하여 계산 비용을 감소시키며, 특히 고차원 및 희소 데이터에서 유리하다.

실험 결과

연구 질문

• RQ1 잠재 트리의 구조와 매개변수는 다항식 이하의 계산 복잡도로 일관되게 복원될 수 있는가?
• RQ2 보장된 정렬과 복원을 갖춘 텐서 분해 방법은 계층적 잠재 트리 모델로 확장될 수 있는가?
• RQ3 구조 학습과 매개변수 추정 간의 순차적 의존성이 없이 병렬적이고 확장 가능한 잠재 트리 모델 학습이 가능한가?
• RQ4 선형 다변량 잠재 트리 모델에서 구조 및 매개변수의 일관된 복원을 위해 필요한 최소 표본 복잡도는 얼마인가?
• RQ5 희소하고 고차원 데이터는 이론적 보장을 갖는 잠재 트리 학습에서 어떻게 효율적으로 처리될 수 있는가?

주요 결과

• 이 방법은 계산 복잡도 O(로그 p)를 달성하여 기존 최상의 성능인 O(다항식(p))보다 크게 향상된 전역 일관성 있는 구조 및 매개변수 추정을 달성한다.
• 일관된 구조 복원을 위한 표본 복잡도는 O(로그 k)이며, 텐서 분해에 의한 매개변수 복원의 경우도 O(로그 k)이며, 모두 높은 확률로 성립한다.
• 모멘트 방법과 텐서 분해를 사용하여 일관된 매개변수 추정을 보장하는 첫 번째 방법으로, 잠재 트리 모델에 대해 이러한 보장을 제공한다.
• 병렬 계산 복잡도는 변수 수에 대해 로그적으로 증가하고 차원에 대해 선형적으로 증가하므로 대규모 학습에 매우 효율적이다.
• 희소 행렬 임bedding과 랜덤화 SVD의 사용은 특히 고차원 및 희소 데이터에서 시간과 메모리 비용을 감소시킨다.
• 이 프레임워크는 이웃 선택 및 BIC 점수를 통한 사용자 가이드드 구조 정밀 조정을 지원하며, EM 재실행 없이도 동적 매개변수 재추정이 가능하다.