[논문 리뷰] Learning Latent Tree Graphical Models

Myung Jin Choi, Vincent Y. F. Tan외 2명|arXiv (Cornell University)|2010. 09. 14.

Natural Language Processing Techniques인용 수 24

한 줄 요약

이 논문은 관측 변수에서 최소한의 잠재 트리 그래픽 모델을 학습하기 위해 관측 노드가 잎 노드에 국한되지 않는 일관되고 계산적으로 효율적인 두 알고리즘—재귀적 그룹화와 CLGrouping—을 제안한다. CLGrouping은 먼저 관측 변수에 대한 Chow-Liu 트리를 구성하여 후속 재귀적 그룹화를 안내함으로써 정확도를 향상시키며, 가벼운 표본 복잡도와 온전한 구조 일관성(약한 조건 하에서)을 달성한다.

ABSTRACT

We study the problem of learning a latent tree graphical model where samples are available only from a subset of variables. We propose two consistent and computationally efficient algorithms for learning minimal latent trees, that is, trees without any redundant hidden nodes. Unlike many existing methods, the observed nodes (or variables) are not constrained to be leaf nodes. Our first algorithm, recursive grouping, builds the latent tree recursively by identifying sibling groups using so-called information distances. One of the main contributions of this work is our second algorithm, which we refer to as CLGrouping. CLGrouping starts with a pre-processing procedure in which a tree over the observed variables is constructed. This global step groups the observed nodes that are likely to be close to each other in the true latent tree, thereby guiding subsequent recursive grouping (or equivalent procedures) on much smaller subsets of variables. This results in more accurate and efficient learning of latent trees. We also present regularized versions of our algorithms that learn latent tree approximations of arbitrary distributions. We compare the proposed algorithms to other methods by performing extensive numerical experiments on various latent tree graphical models such as hidden Markov models and star graphs. In addition, we demonstrate the applicability of our methods on real-world datasets by modeling the dependency structure of monthly stock returns in the S&P index and of the words in the 20 newsgroups dataset.

연구 동기 및 목표

• 관측 변수의 일부만 제공될 때도 잠재 트리 그래픽 모델을 일관되고 효율적으로 학습할 수 있는 알고리즘을 개발하는 것.
• 이전 방법의 한계를 극복하기 위해 관측 변수가 잠재 트리 계층의 임의의 위치에 올 수 있도록 허용하는 것, 즉 잎 노드에 국한되지 않는 것.
• 지역적 재귀적 그룹화를 안내하는 전역 사전 처리 단계를 통합하여 학습 정확도와 효율성을 향상시키는 것.
• 구조적 및 매개변수 일관성에 대한 이론적 보장을 확립하고, 유리한 표본 및 계산 복잡도를 확보하는 것.
• 숨은 마크وف 모델, 성형 그래프, 실세계 데이터셋인 S&P 주가 수익률과 20 Newsgroups 등 다양한 모델에서 방법의 효과성을 입증하는 것.

제안 방법

• 재귀적 그룹화는 변수 삼중세의 정보 거리 정보를 사용하여 형제 그룹을 식별함으로써 하향식으로 잠재 트리를 구성한다.
• CLGrouping은 먼저 관측 변수에 대한 Chow-Liu 트리를 구성하여 구조적으로 가까운 그룹을 식별하고, 이를 바탕으로 더 작은 부분집합에서 후속 재귀적 그룹화를 수행한다.
• 정보 거리는 경험적 데이터로부터 추정되며, 이는 이산 및 가우시안 모델 모두에 적용 가능한 구조 학습의 충분통계량이다.
• 재귀적 그룹화에서 일관성을 확보하기 위해 이완된 임계값을 사용하며, 이는 진짜 정보 거리의 균일한 유계성에 기반한다.
• 임의의 분포에 대한 잠재 트리 근사 모델을 학습하기 위해 알고리즘의 정규화된 변형을 도입한다.
• 이론적 분석은 농도 부등식(예: Chernoff 경계)을 활용하여 오류 확률이 지수적으로 감소함을 보이며, 이는 로그 복잡도 표본 복잡도를 이끈다.

실험 결과

연구 질문

• RQ1 관측 변수의 일부만 존재할 때, 관측 노드가 잎 노드에 국한되지 않는 조건 하에서 잠재 트리 그래픽 모델의 구조를 일관되게 학습할 수 있는가?
• RQ2 전역 사전 처리 단계는 지역적 재귀적 잠재 트리 학습의 정확도와 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 정보 거리 기반 방법을 사용할 때 잠재 트리 모델 학습의 표본 복잡도는 무엇이며, 관측 변수 수에 대해 로그로 유계질 수 있는가?
• RQ4 매개변수 추정이 일관성이 있는 조건은 무엇이며, 구조 일관성이 위험 일관성으로 이어지는가?
• RQ5 다양한 모델과 실세계 데이터에서 기존 방법과 비교해 제안된 알고리즘의 정확도와 내성에 대해 어떻게 평가할 수 있는가?

주요 결과

• CLGrouping은 효과적 깊이가 일정하다는 가정 하에 관측 변수 수 m에 대해 O(log m)의 표본 복잡도로 구조 일관성을 달성한다.
• 재귀적 그룹화 알고리즘은 표본 수에 비례해 오류 확률이 지수적으로 감소하는 방식으로 구조적 및 매개변수적으로 일관되다.
• 가우시안 및 대칭 이산 모델의 경우, 정보 거리와 모델 매개변수 사이의 일对일 대응 관계로 인해 구조 일관성이 위험 일관성으로 이어진다.
• 광범위한 수치 실험 결과, CLGrouping과 재귀적 그룹화 알고리즘이 기존 방법에 비해 숨은 마크오프 모델, 성형 그래프, 완전 트리에서 뛰어난 성능을 보였다.
• 알고리즘은 월간 S&P 500 주가 수익률과 20 Newsgroups 데이터셋의 단어 공존 빈도에서 실세계적 의존성을 성공적으로 모델링하여 실용적 유용성을 입증했다.
• 정규화된 변형 알고리즘은 진짜 데이터 분포가 정확히 트리 구조가 아니더라도 안정적인 잠재 트리 근사 모델을 제공한다.