[논문 리뷰] Structure estimation for discrete graphical models: Generalized covariance matrices and their inverses

Po‐Ling Loh, Martin J. Wainwright|ScholarlyCommons (University of Pennsylvania)|2012. 12. 03.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 16

한 줄 요약

이 논문은 이산 그래픽 모델에서 일반화된 공분산 행렬의 역행렬과 조건부 독립 구조 사이의 이론적 연결을 수립하며, 단일 분리자 집합을 가진 그래프(예: 트리)의 경우, 역공분산 행렬이 그래프의 간선 구조를 반영함을 보여준다. 주요 기여는 고전적인 가우시안 그래픽 모델 결과—역공분산 행렬의 0 요소가 조건부 독립을 나타냄—을 지표 변수와 잇기 나무 기하학을 사용하여 비가우시안, 이산 모델로 확장함으로써, 수정된 Lasso와 노드별 회귀 방법을 통해 결측치나 손상된 데이터가 있는 경우에도 일관된 구조 추정이 가능하게 한다.

ABSTRACT

We investigate the relationship between the structure of a discrete graphical model and the support of the inverse of a generalized covariance matrix. We show that for certain graph structures, the support of the inverse covariance matrix of indicator variables on the vertices of a graph reflects the conditional independence structure of the graph. Our work extends results that have previously been established only in the context of multivariate Gaussian graphical models, thereby addressing an open question about the significance of the inverse covariance matrix of a non-Gaussian distribution. The proof exploits a combination of ideas from the geometry of exponential families, junction tree theory and convex analysis. These population-level results have various consequences for graph selection methods, both known and novel, including a novel method for structure estimation for missing or corrupted observations. We provide nonasymptotic guarantees for such methods and illustrate the sharpness of these predictions via simulations.

연구 동기 및 목표

• 이산 그래픽 모델의 역공분산 행렬이 가우시안 모델과 마찬가지로 조건부 독립 구조를 반영하는지 여부를 규명하는 것.
• 역공분산 행렬의 흐문성과 그래프 구조 사이의 고전적 대응을 비가우시안, 이산형 랜덤 변수로 확장하는 것.
• 결측치나 손상된 관측치가 있는 고차원 이산 그래픽 모델에서의 일관된, 계산적으로 실현 가능한 구조 추정 방법을 개발하는 것.
• 특히 단일 분리자 집합 또는 유계 차수 그래프를 가진 모델에 대해 고차원 스케일링 하에서 그래프 선택 방법에 대한 이론적 보장을 수립하는 것.
• 지표 변수와 잇기 나무 이론을 사용하여 지수족 분포 전반에 걸쳐 구조 추정을 통합하는 일반적 프레임워크를 제공하는 것.

제안 방법

• 그래프의 잇기 나무 분해에 특히 부합하는 고차원 변수 부분집합의 지표 함수로부터 구성된 일반화된 공분산 행렬을 제안한다.
• 레지오르드 대칭성과 지수족 기하학을 사용하여 이 일반화된 공분산 행렬의 역행렬이 기반 그래픽 모델의 조건부 독립 구조와 관련이 있음을 규명한다.
• 기반 그래프가 단일 분리자 집합을 가진 경우, 잇기 나무 이론을 적용하여 역공분산 행렬이 그래프의 구조를 그대로 이어받도록 보장한다.
• 선형 회귀를 지표 변수에 적용함으로써 그래픽 Lasso와 노드별 회귀를 이산 모델에 적응시키며, 고차원 스케일링 하에서 이론적 일관성 보장을 제공한다.
• 체계적인 결측치를 고려하기 위해 회귀 목표 함수를 수정함으로써 결측 데이터에 대한 수정된 추정기법을 도입하여, 표준 방법이 실패할 경우에도 일관성을 유지한다.
• 비볼록 최적화 문제를 해결하기 위해 복합 경사 하강법을 사용하며, 최적해 근방으로의 수렴 보장을 제공한다.

실험 결과

연구 질문

• RQ1 이산 그래픽 모델의 일반화된 공분산 행렬의 역행렬이 가우시안 사례와 마찬가지로 기반 그래프의 조건부 독립 구조를 반영하는가?
• RQ2 역공분산 행렬의 흐문성과 그래프 구조 사이의 고전적 대응을 비가우시안, 이산형 분포로 확장할 수 있는가?
• RQ3 그래픽 Lasso나 노드별 회귀와 같은 표준 그래프 선택 방법은 단일 분리자 집합을 가진 그래프에서 일관된가?
• RQ4 관측치가 결측되거나 손상된 경우에도 고차원 스케일링 하에서 구조 추정을 일관되게 수행할 수 있는가?
• RQ5 결측 데이터가 있는 이산 모델에서 그래프 구조의 일관된 복원을 위한 이론적 표본 크기 요구 조건은 무엇이며, 이는 결측 데이터 비율 $ \rho $ 와 어떻게 스케일링되는가?

주요 결과

• 이산 변수를 가진 트리 구조 그래프의 경우, 지표 변수의 표준 공분산 행렬의 역행렬은 정확히 그래프 구조를 반영하며, 이는 0 요소가 존재하지 않는 간선에 해당한다.
• 일반적인 그래프의 경우, 잇기 나무 클리크에 대한 지표 함수를 사용해 구성된 일반화된 공분산 행렬의 역행렬은 기반 그래프가 단일 분리자 집합을 가진 경우 그래프 구조를 반영한다.
• 제안된 수정된 선형 회귀 추정기법은 체계적인 결측 데이터가 있는 경우에도 그래프 구조 복원에 대해 일관성을 유지하지만, 표준 노드별 로지스틱 회귀는 이러한 설정에서 편향이 발생한다.
• 이론적 보장에 따르면, 유계 차수 그래프에 대해 상관관계 감쇠가 있는 경우 일관된 그래프 복원을 위한 표본 크기의 스케일링은 $ n \asymp d^2 \log p $ 로 나타나며, 최악의 경우 $ d^3 \log p $ 의 경계보다 향상된다.
• 시뮬레이션 결과는 간선 복원 성공 확률이 예측된 표본 크기 임계점에서 날카럽게 0에서 1로 전이되며, 결측 데이터 비율 $ \rho $ 가 증가함에 따라 오른쪽으로 이동하는 것으로 확인되어 이론적 예측을 검증한다.
• 손상된 관측치가 있는 경우에도 고차원 스케일링 하에서 이 방법은 증명 가능한 일관성을 보이며, 이는 결측 데이터가 있는 이산 그래픽 모델에 대해 이러한 보장을 제공하는 최초의 사례이다.