[논문 리뷰] Structure estimation for mixed graphical models in high-dimensional data

Jonas M B Haslbeck, Lourens Waldorp|arXiv (Cornell University)|2015. 10. 19.

Gene expression and cancer classification참고 문헌 17인용 수 54

한 줄 요약

이 논문은 연속형, 이元형, 카운트형, 순서형 변수를 포함한 혼합 변수 유형을 가진 고차원 데이터에서 비지향 그래픽 모델을 추정하기 위한 새로운 방법을 제안한다. 이는 새로운 유형의 혼합 지수형 분포와 일반화된 공분산 행렬 추정을 조합하여 개발되었으며, 변수 변환 없이도 정확하고 해석 가능한 구조 학습이 가능하게 한다. 실제 자폐 스펙트럼 장애(Autism Spectrum Disorder, ASD) 데이터에서 기존 가우시안 근사보다 뛰어난 성능을 보이며, 더 세밀하고 생물학적으로 타당한 관계를 드러낸다.

ABSTRACT

Undirected graphical models are a key component in the analysis of complex observational data in a large variety of disciplines. In many of these applications one is interested in estimating the undirected graphical model underlying a distribution over variables with different domains. Despite the pervasive need for such an estimation method, to date there is no such method that models all variables on their proper domain. We close this methodological gap by combining a new class of mixed graphical models with a structure estimation approach based on generalized covariance matrices. We report the performance of our methods using simulations, illustrate the method with a dataset on Autism Spectrum Disorder (ASD) and provide an implementation as an R-package.

연구 동기 및 목표

• 연속형, 이원형, 카운트형, 순서형 변수를 포함한 다변량 데이터에서 마르코프 무작위장치(Markov Random Fields, MRFs)를 추정하기 위한 원칙적인 방법이 부족한 문제를 해결하기 위해.
• 각 변수를 그 적절한 정의역에서 모델링함으로써 데이터 변환으로 인한 정보 손실을 방지하는 구조 추정 방법을 개발하기 위해.
• 계산적으로 효율적이고 해석 가능한 고차원 혼합 그래픽 모델을 위한 방법을 개발하여 심리학, 의학, 사회과학 등 다양한 분야에 적용 가능하게 하기 위해.
• 특히 복잡한 조건부 이상독립 구조를 포착하는 데서 기존 가우시안 근사보다 뛰어난 성능을 보이는 실제 데이터에서의 방법의 우수성을 입증하기 위해.

제안 방법

• 양 등(2014)이 제안한 새로운 유형의 혼합 지수형 분포와 일반화된 공분산 행렬 추정을 조합하여 혼합 변수 유형을 함께 모델링한다.
• ℓ₁-정규화(Lasso)를 사용한 펜라이즈드 우도 접근법을 통해 희박한 역일반화된 공분산 행렬을 추정함으로써 구조 학습을 가능하게 한다.
• 각 노드의 이웃을 독립적으로 추정하기 위해 노드별 회귀 분석을 수행하며, 이는 계산적 확장성을 보장한다.
• 그래프의 희박성과 모델 적합도를 최적화하기 위해 확장 베이지안 정보 기준(Extended Bayesian Information Criterion, EBIC)을 사용하여 정규화 파라미터를 선택한다.
• 표본 수가 제한된 고차원 설정에서의 교차검증을 위해 노이즈 추가 전략을 도입하여 λ 선택의 안정성을 확보한다.
• CRAN에 공개된 R 패키지(mgm)로 구현하여 광범위한 접근성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 연속형, 이원형, 카운트형, 순서형 변수를 포함한 혼합 변수 유형을 위한 통합적인 그래픽 모델 추정 방법을 개발할 수 있는가?
• RQ2 각 변수를 그 적절한 정의역에서 모델링할 경우, 가우시안 근사와 비교해 추정된 그래프 구조에 어떤 영향을 미치는가?
• RQ3 다양한 시뮬레이션 조건에서의 모 bord 복구 성능과 구조 추정 정확도 측면에서 제안된 방법의 성능는 어떠한가?
• RQ4 비모수적 정규화(non-paranormal), 도우미 기반(copula-based), 순위 기반(rank-based) 방법과 비교해 실제 데이터에서의 방법의 성능는 어떠한가?
• RQ5 혼합 그래픽 모델의 사용이 자폐 스펙트럼 장애(ASD) 연구와 같은 복잡한 시스템 이해에 어떤 함의를 지닌다?

주요 결과

• 시뮬레이션 결과, 제안된 방법은 특히 혼합 변수 유형을 포함한 고차원 설정에서 기존 방법보다 높은 엣지 복구율을 달성하였다.
• 가우시안 근사보다 더 높은 밀도(0.19)의 그래프를 탐지하여 더 복잡한 조건부 이상독립 구조를 반영하고 있음을 시사하였다.
• ASD 데이터셋에서 혼합 그래픽 모델은 '사회적 통합'이 중심성(근접도, 차수, 중간성)이 높은 것으로 나타나 네트워크 내 핵심 노드임을 밝혀냈다.
• 혼합 모델은 가우시안 근사에서 존재하지 않았던 '주거 형태'와 '진단에 대한 개방성' 간의 엣지를 식별하여 변수 변환에 의한 방법론적 편향을 드러냈다.
• 노이즈 추가 전략으로 인해 표본 수가 적은 설정에서는 성능이 보수적으로 나타나, 강건성은 확보되었지만 극단적인 상황에서는 과소추정 가능성이 있음을 시사하였다.
• R 패키지 mgm은 성공적으로 방법을 구현하여 응용 연구에서 널리 사용되고 재현 가능성을 확보하였다.