[논문 리뷰] Learning Some Popular Gaussian Graphical Models without Condition Number Bounds

Jonathan A. Kelner, Frederic Koehler외 2명|arXiv (Cornell University)|2019. 05. 03.

Bayesian Modeling and Causal Inference참고 문헌 53인용 수 6

한 줄 요약

이 논문은 정밀 행렬의 조건수 또는 노름 기반 가정 없이, 대칭성과 워크-섬블러블(walk-summable)인 가우시안 그래픽 모델(GGM)을 위한 최초의 고정 다항시간 알고리즘을 제안한다. 이 알고리즘은 로그 수준의 표본 복잡도로도 구현 가능하며, 종래의 방법들인 그래픽럴라스(Graphical Lasso)와 CLIME가 조건수가 높을 경우 실패하는 상황에서도 강건한 구조 복원을 가능하게 한다.

ABSTRACT

Gaussian Graphical Models (GGMs) have wide-ranging applications in machine learning and the natural and social sciences. In most of the settings in which they are applied, the number of observed samples is much smaller than the dimension and they are assumed to be sparse. While there are a variety of algorithms (e.g. Graphical Lasso, CLIME) that provably recover the graph structure with a logarithmic number of samples, they assume various conditions that require the precision matrix to be in some sense well-conditioned. Here we give the first polynomial-time algorithms for learning attractive GGMs and walk-summable GGMs with a logarithmic number of samples without any such assumptions. In particular, our algorithms can tolerate strong dependencies among the variables. Our result for structure recovery in walk-summable GGMs is derived from a more general result for efficient sparse linear regression in walk-summable models without any norm dependencies. We complement our results with experiments showing that many existing algorithms fail even in some simple settings where there are long dependency chains, whereas ours do not.

연구 동기 및 목표

• 정밀 행렬에 대한 조건수 또는 노름 기반 제약 조건을 필요로 하는 기존 GGM 학습 알고리즘의 한계를 해결하기 위해.
• 인기 있는 GGM 클래스인 대칭성 및 워크-섬블러블 모델에 대해 효율적이고 고정 다항시간 알고리즘을 개발하기 위해.
• 표본 수가 차원에 대해 로그 수준임에도 불구하고 변수 간 강한 의존성이 존재하는 고차원 설정에서도 신뢰할 수 있는 학습을 가능하게 하기 위해.
• 노름에 대한 의존성이 없는 워크-섬블러블 모델에서의 희소 선형 회귀에 대한 이론적 보장을 제공함으로써 주요 결과의 기초를 마련하기 위해.

제안 방법

• 워크-섬블러블 모델에서의 희소 선형 회귀에 기반한 새로운 알고리즘 프레임워크를 제안하며, 정밀 행렬의 구조적 특성을 활용하여 노름 기반 가정을 피한다.
• 희소성의 일반화로서 강력한 변수 간 의존성도 허용하면서도 효율적 학습이 가능한 새로운 조건인 '워크-섬블러블성'을 도입한다.
• 워크-섬블러블성 하에서 이론적 보장을 갖는 그레디프리닝 및 검증 전략(GreedyAndPrune)을 사용하여 그래프 구조를 복원한다.
• 워크-섬블러블 모델에서의 효율적 희소 선형 회귀에 대한 일반적 결과를 확립하며, 이는 구조 복원의 핵심 이론적 기초가 된다.
• 후보 간선 집합의 정확성을 보장하기 위해, 고유값 또는 조건수 기반 제약 없이 검증 절차를 설계한다.
• 합성 및 실세계 데이터(예: 리보플라빈 데이터셋)를 대상으로 방법을 구현하고 평가하며, 그래픽럴라스, CLIME, MB, HybridMB와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 정밀 행렬에 대한 조건수 또는 노름 제약 없이, 대칭성 및 워크-섬블러블인 가우시안 그래픽 모델을 다항시간 내에 로그 수준의 표본 복잡도로 학습할 수 있는가?
• RQ2 강한 변수 의존성과 높은 조건수를 가진 설정에서 제안된 방법이 그래픽럴라스 및 CLIME와 같은 기존 알고리즘을 초월하는가?
• RQ3 워크-섬블러블성은 고차원 및 희소 설정에서 강건한 GGM 구조 복원을 위한 타당하고 일반화 가능한 가정이 될 수 있는가?
• RQ4 노름 기반 가정을 피하면서도 정확한 구조 학습이 가능한, 워크-섬블러블 모델에서의 희소 선형 회귀에 대한 고정 다항시간 알고리즘이 존재하는가?
• RQ5 실세계 및 반합성 데이터셋에서 제안된 방법의 표본 복잡도 및 런타임 측면에서 기존 방법과의 성능 비교는 어떠한가?

주요 결과

• 제안된 알고리즘은 정밀 행렬에 대한 조건수 또는 노름 가정 없이도, 워크-섬블러블 GGM에서 O(log n)의 표본 수로 구조 복원을 달성한다.
• 실험 결과, 그래픽럴라스와 CLIME는 긴 의존성 체인과 높은 조건수 설정에서 실패하는 반면, 제안된 방법은 성공적으로 작동한다.
• 리보플라빈 데이터셋에서 GreedyAndPrune는 0.19초의 가장 빠른 순차적 런타임을 기록하여 그래픽럴라스(0.74 s)와 CLIME(2.12 s)를 모두 압도한다.
• 반합성 실험에서, 본 방법은 500~550개의 표본으로도 노드당 오류 간선 수가 ≤0.25 이내로 도달하며, 기존 방법과 유사하거나 더 낫다.
• 그래픽럴라스에서 추정된 정밀 행렬의 조건수와 행렬의 ℓ₁-노름은 차원 n과 유사한 수준이었으며, 이는 존재하는 이론적 보장이 적용되지 않음을 시사한다.
• 복원된 행렬들이 프로베니우스 노름 기준으로 워크-섬블러블에 근접해 있었으며, 이는 실세계 설정에서 워크-섬블러블성 가정이 타당하다는 것을 뒷받침한다.