[논문 리뷰] Square Root Graphical Models: Multivariate Generalizations of Univariate Exponential Families that Permit Positive Dependencies

David I. Inouye, Pradeep Ravikumar외 1명|arXiv (Cornell University)|2016. 03. 11.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 5

한 줄 요약

이 논문은 다변량 지수족 분포의 새로운 클래스인 제곱근 그래픽 모델(SQR)을 소개한다. 이는 단변량 지수족(예: 지수, 포아송)을 일반화하면서도 음의 상관관계 외에도 양의 상관관계를 허용하는 모델이다. 이전 모델이 음의 상관관계에 국한되어 있었던 데 비해, SQR는 매개변수 행렬에 경미한 정재성 유사 조건을 적용하여 실제 데이터(예: 공항 지연)의 다각적 모델링이 가능하다. 실험적으로도 합리적인 양의 상관관계를 잘 포착함을 입증하였다.

ABSTRACT

We develop Square Root Graphical Models (SQR), a novel class of parametric graphical models that provides multivariate generalizations of univariate exponential family distributions. Previous multivariate graphical models [Yang et al. 2015] did not allow positive dependencies for the exponential and Poisson generalizations. However, in many real-world datasets, variables clearly have positive dependencies. For example, the airport delay time in New York---modeled as an exponential distribution---is positively related to the delay time in Boston. With this motivation, we give an example of our model class derived from the univariate exponential distribution that allows for almost arbitrary positive and negative dependencies with only a mild condition on the parameter matrix---a condition akin to the positive definiteness of the Gaussian covariance matrix. Our Poisson generalization allows for both positive and negative dependencies without any constraints on the parameter values. We also develop parameter estimation methods using node-wise regressions with $\ell_1$ regularization and likelihood approximation methods using sampling. Finally, we demonstrate our exponential generalization on a synthetic dataset and a real-world dataset of airport delay times.

연구 동기 및 목표

• 기존의 다변량 지수족 그래픽 모델이 양의 상관관계를 모델링할 수 없는 한계를 해결하기 위해.
• 단변량 지수족(예: 지수, 포아송)을 다변량 환경으로 일반화하는 일반적인 매개변수 프레임워크를 개발하여 매개변수 행렬에 대한 제약을 최소화하기 위해.
• 지연 시간, 카운트 데이터, 생존 시간 등 비정규, 이산형이 아닌 데이터의 공동 모델링을 가능하게 하여 음의 상관관계와 양의 상관관계를 모두 수용하기 위해.
• 전역 마르코프 성질을 유지하면서 효율적인 매개변수 추정과 우도 근사가 가능한 원칙적인 확률 기반 모델을 제공하기 위해.
• 특수 조정 없이도 고차원 비정규 데이터에서 직관적인 실제 세계의 상관관계를 회복할 수 있음을 입증하기 위해.

제안 방법

• 비음수 충분통계량을 가진 단변량 지수족에서 유도된 다변량 분포의 새로운 클래스를 제안하며, 비음수성과 유연성을 보장하기 위해 제곱근 매개변수화를 사용한다.
• 매개변수 행렬 Φ를 사용하여 결합 밀도를 정의하며, 이는 가우시안 모델의 공분산 행렬을 일반화한다. 이 행렬은 유효한 분포를 보장하기 위해 경미한 정재성 유사 조건을 갖는다.
• 지수 SQR 모델의 경우 매개변수 행렬 Φ는 양수와 음수 요소를 모두 가질 수 있으며, 가우시안 그래픽 모델에서의 정재성과 유사한 조건으로 제약을 받는다.
• 포아송 SQR 모델의 경우 매개변수 값에 대한 제약이 전혀 없으며, 임의의 양의 상관관계와 음의 상관관계를 허용한다.
• 노드별 회귀와 ℓ₁ 정규화를 사용하여 그래픽 구조를 추정함으로써 고차원 모델 복원이 가능하며 이는 이론적 보장이 있다.
• 지수 및 포아송 SQR 모델에서 정규화 상수가 계산이 어려운 경우를 대비해 샘플링 기반 우도 근사 방법을 개발한다.

실험 결과

연구 질문

• RQ1 기존 모델이 음의 상관관계에 국한되어 있는 것과 달리, 양의 상관관계도 허용하는 단변량 지수족의 다변량 일반화를 구성할 수 있는가?
• RQ2 이러한 다변량 지수족 모델에서 유효한 확률 분포를 보장하기 위해 매개변수 행렬에 필요한 필수 및 충분한 구조적 제약 조건은 무엇인가?
• RQ3 제안된 모델은 공항 지연 시간이나 단어 동시출현 패tern과 같은 비정규 데이터에서 실제 세계의 상관관계를 효과적으로 포착할 수 있는가?
• RQ4 독립 모델이나 이전에 제약이 있던 모델과 비교할 때 SQR 모델의 우도 및 구조 복원 성능는 어떠한가?
• RQ5 노드별 ℓ₁-정규화 회귀를 통한 매개변수 추정이 고차원 환경에서 진짜 그래픽 구조를 신뢰성 있게 복원할 수 있는가?

주요 결과

• 공항 지연 데이터에서 지수 SQR 모델은 독립 지수 모델보다 상대적 우도에서 뚜렷한 성능 향상을 보였다. 이는 강력한 상관관계 구조를 반영한다.
• SQR 모델은 외부 위치 정보 없이도 시카고와 뉴욕 간의 기상 관련 지연 간의 직관적인 양의 상관관계를 성공적으로 포착하였다.
• 모델은 지리적 및 운영적 상관관계(예: DFW-IAH, 서해안 연결선)를 특징 없는 학습 방식으로도 순수하게 상관관계 패턴에서 식별하였다. 이는 기능 기반 학습에 대한 강건성을 보여준다.
• 포아송 SQR 모델은 기존 모델이 초모수나 기본 분포를 수정해야 했던 것과 달리, 매개변수 제약 없이 임의의 양의 상관관계와 음의 상관관계를 허용한다.
• SQR를 사용한 노드별 ℓ₁-정규화 회귀는 원형 체인 그래프에서 높은 엣지 정밀도를 달성하였으며, 충분한 표본 수가 확보된 경우 더 큰 k 값에서도 엣지를 회복하였다.
• SQR 프레임워크는 비정규 데이터에 대해 유효하고 완전한 확률 모델을 가능하게 하여, 이전 모델이 상관관계를 음의 상관관계로 제한하거나 특수 조정이 필요한 문제를 해결하였다.