[논문 리뷰] Integrated Structure and Parameters Learning in Latent Tree Graphical Models.

Furong Huang, U. N. Niranjan외 1명|arXiv (Cornell University)|2014. 06. 18.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 잠재 트리 그래픽 모델에서 구조와 매개변수를 동시 학습하기 위한 통합적이고 분할 정복 방식의 접근법을 제안한다. 최소 스패닝 트리, 재귀적 그룹화, 방법의 모멘트 텐서 분해를 결합하여 선형 다변량 모델(가우시안 및 이산 분포 포함)에서 구조와 매개변수의 증명 가능 복원을 달성하며, 낮은 표본 복잡도를 확보한다.

ABSTRACT

We present an integrated approach for structure and parameter estimation in latent tree graphical models. Our overall approach follows a divide-and-conquer strategy that learns models over small groups of variables and iteratively merges onto a global solution. The structure learning involves combinatorial operations such as minimum spanning tree construction and local recursive grouping; the parameter learning is based on the method of moments and on tensor decompositions. Our method is guaranteed to correctly recover the unknown tree structure and the model parameters with low sample complexity for the class of linear multivariate latent tree models which includes discrete and Gaussian distributions, and Gaussian mixtures. Our bulk asynchronous parallel algorithm is implemented in parallel and the parallel computation complexity increases only logarithmically with the number of variables and linearly with dimensionality of each variable.

연구 동기 및 목표

• 고차원 다변량 모델에서 잠재 트리 구조와 모델 매개변수를 동시에 추정하는 데 도전한다.
• 기존 방법들이 구조 학습과 매개변수 학습을 별개의 순차적 단계로 다루는 한계를 극복한다.
• 낮은 표본 복잡도 하에서 진짜 트리 구조와 모델 매개변수의 증명 가능 복원을 달성한다.
• 변수 수에 대해 로그 복잡도를 가지는 대량 비동기 병렬 알고리즘을 통해 확장 가능한 학습을 가능하게 한다.

제안 방법

• 변수를 작은 그룹으로 분할하여 국소 모델 학습을 위한 분할 정복 전략을 활용한다.
• 최소 스패닝 트리와 재귀적 그룹화를 사용하여 국소 그룹화로부터 전역 트리 구조를 추론한다.
• 잠재 트리 모델의 매개변수 추정을 위해 방법의 모멘트와 텐서 분해를 적용한다.
• 정확도와 일관성을 향상시키기 위해 구조 학습과 매개변수 학습을 통합된 프레임워크로 통합한다.
• 변수 수와 차원에 따라 효율적으로 스케일링되는 대량 비동기 병렬 알고리즘을 설계한다.
• 선형 다변량 잠재 트리 모델의 대수적 구조를 활용하여 식별성과 복원 보장을 보장한다.

실험 결과

연구 질문

• RQ1 잠재 트리 모델에서 구조와 매개변수 학습을 동시에 최적화함으로써 복원 정확도와 표본 효율성을 향상시킬 수 있는가?
• RQ2 낮은 표본 복잡도 하에서 진짜 트리 구조와 매개변수의 증명 가능 복원을 가능하게 하는 알고리즘 전략은 무엇인가?
• RQ3 정확도를 유지하면서 대규모 잠재 트리 모델 학습의 계산 복잡도를 최소화할 수 있는가?
• RQ4 수렴 보장을 잃지 않고 병렬 처리를 얼마나 효과적으로 활용하여 고차원 데이터에 대한 스케일링을 달성할 수 있는가?

주요 결과

• 이 방법은 가우시안 및 이산 분포를 포함한 선형 다변량 잠재 트리 모델에 대해 진짜 트리 구조와 모델 매개변수를 증명 가능하게 복원한다.
• 낮은 표본 복잡도를 달성하여 제한된 데이터로도 정확한 학습이 가능하다.
• 대량 비동기 병렬 알고리즘이 변수 수에 대해 로그 복잡도로 스케일링되고 변수 차원에 대해 선형 복잡도로 스케일링된다.
• 최소 스패닝 트리를 통한 구조 학습과 텐서 분해를 통한 매개변수 학습의 통합은 일관성과 식별성을 보장한다.
• 실험 결과는 가우시안 혼합 모델를 포함한 다양한 모델 유형에서 강인한 성능을 보여준다.
• 구조와 매개변수를 동시에 최적화함으로써 순차적 방법보다 우수한 성능을 보이며, 추정 오차를 감소시킨다.