[논문 리뷰] Learning Gaussian Graphical Models with Observed or Latent FVSs

Ying D. Liu, Alan S. Willsky|arXiv (Cornell University)|2013. 11. 10.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 10

한 줄 요약

이 논문은 피드백 정점 집합(FVS)의 크기가 작은 가우시안 그래픽 모델(GGMs)에 대한 효율적인 구조 학습 알고리즘을 제안한다. 이는 FVS 크기를 k, 노드 수를 n로 두었을 때 정확한 추론을 O(k²n) 시간에 가능하게 하며, 이는 k가 작을 경우 매우 효율적이다. 두 가지 방법을 제안한다: 관측된 FVS를 위한 Chow-Liu 기반 알고리즘으로, 복잡도는 O(kn² + n² log n)이며, 잠재된 FVS를 위한 방법은 역공분산행렬의 반복적 저질서 보정을 통해 구현되며, 이는 매 반복마다 동일한 복잡도를 가지므로 확장 가능한 학습과 높은 모델링 능력을 동시에 달성한다.

ABSTRACT

Gaussian Graphical Models (GGMs) or Gauss Markov random fields are widely used in many applications, and the trade-off between the modeling capacity and the efficiency of learning and inference has been an important research problem. In this paper, we study the family of GGMs with small feedback vertex sets (FVSs), where an FVS is a set of nodes whose removal breaks all the cycles. Exact inference such as computing the marginal distributions and the partition function has complexity $O(k^{2}n)$ using message-passing algorithms, where k is the size of the FVS, and n is the total number of nodes. We propose efficient structure learning algorithms for two cases: 1) All nodes are observed, which is useful in modeling social or flight networks where the FVS nodes often correspond to a small number of high-degree nodes, or hubs, while the rest of the networks is modeled by a tree. Regardless of the maximum degree, without knowing the full graph structure, we can exactly compute the maximum likelihood estimate in $O(kn^2+n^2\log n)$ if the FVS is known or in polynomial time if the FVS is unknown but has bounded size. 2) The FVS nodes are latent variables, where structure learning is equivalent to decomposing a inverse covariance matrix (exactly or approximately) into the sum of a tree-structured matrix and a low-rank matrix. By incorporating efficient inference into the learning steps, we can obtain a learning algorithm using alternating low-rank correction with complexity $O(kn^{2}+n^{2}\log n)$ per iteration. We also perform experiments using both synthetic data as well as real data of flight delays to demonstrate the modeling capacity with FVSs of various sizes.

연구 동기 및 목표

• 가우시안 그래픽 모델(GGMs)에서 모델링 능력과 계산 효율성 사이의 상충 관계를 해결하기 위함.
• 작은 FVS를 가진 GGMs에서 정확한 추론과 최대우도 학습을 가능하게 하기 위함. 여기서 FVS 노드는 그래프의 모든 사이클을 제거한다.
• FVS 노드가 완전히 관측되거나 잠재된 경우에도 확장 가능한 학습 알고리즘을 개발하여, 추론과 학습이 처리 가능하도록 하기 위함.
• 크기 O(log n)인 FVS 기반 모델이 모델링 능력과 계산 효율성 사이에 강력한 균형을 이룬다 고 보여주기 위함.

제안 방법

• 관측된 FVS를 가진 GGMs에 대한 구조 학습 알고리즘을 제안하며, 조건부 Chow-Liu 알고리즘을 활용하여 정확한 최대우도 추정을 가능하게 한다.
• FVS 제거 후 잔류 그래프가 트리 구조를 가지므로, O(k²n) 복잡도의 메시지 전달 추론을 활용한다.
• 잠재된 FVS의 경우, 구조 학습 문제를 역공분산행렬을 트리 구조를 가진 행렬과 저질서 행렬의 합으로 분해하는 문제로 재정의한다.
• 반복적으로 트리 구조 행렬과 저질서 행렬 집합에 투영하는 교차 투영 알고리즘을 도입하여, GGM의 성질을 활용해 정확한 계산을 보장한다.
• 스호르 보조행렬 공식을 이용한 효율적 행렬 역행렬 공식을 활용해 전체 역공분산행렬을 명시적으로 구성하지 않고도 근사 분포를 계산한다.
• 알고리즘 6를 통해 반복 복잡도를 O(kn² + n² log n)로 감소시켜 중복 계산을 피함으로써 학습 과정을 가속화한다.

실험 결과

연구 질문

• RQ1 모든 노드(포함해 FVS 노드까지)가 관측된 경우, 작은 FVS를 가진 GGMs에서 정확한 최대우도 학습이 가능할 수 있으며, 그 계산 복잡도는 얼마인가?
• RQ2 FVS 노드가 잠재된 경우 GGMs를 어떻게 학습할 수 있으며, 이 경우의 구조 학습 문제는 어떤 행렬 분해 문제로 환원되는가?
• RQ3 FVS 기반 GGMs의 학습 알고리즘의 계산 복잡도는 얼마이며, 효율적인 추론 통합을 통해 이를 줄일 수 있는가?
• RQ4 크기 O(log n)인 가짜 FVS는 대규모 모델에서 근사 추론에 대해 강력한 경험적 성능을 제공하는가?
• RQ5 교차 저질서 보정이 잠재 FVS 모델에 대해 증명 가능하게 효율적이고 정확한 학습 알고리즘을 제공할 수 있는가?

주요 결과

• 관측된 FVS를 위한 제안된 알고리즘은 FVS가 알려진 경우 O(kn² + n² log n) 시간 내에 정확한 최대우도 추정을 달성하며, FVS가 알려져 있지 않더라도 크기가 유한한 경우 다항식 시간 내에 해결 가능하다.
• 잠재된 FVS의 경우, 학습 문제는 역공분산행렬을 트리 구조를 가진 행렬과 저질서 행렬의 합으로 분해하는 것으로 환원되며, 이는 교차 투영을 통해 해결된다.
• 교차 저질서 보정 알고리즘은 효율적 행렬 역행렬 공식을 활용해 매 반복마다 O(kn² + n² log n) 복잡도를 달성한다.
• 합성 데이터 및 항공기 지연 데이터에 대한 경험적 결과는, 크기 O(log n)인 FVS 기반 모델이 모델링 능력과 계산 효율성 사이에 강력한 균형을 이룬다는 것을 보여준다.
• 잠재 FVS에 대한 Chow-Liu 알고리즘의 가속화된 버전은 관측된 경우와 동일한 복잡도를 가지며, 실세계 응용에 대한 확장성과 실용성을 확인한다.