[논문 리뷰] Learning to Discover Sparse Graphical Models

Eugene Belilovsky, Kyle Kastner외 2명|arXiv (Cornell University)|2016. 05. 20.

Bayesian Modeling and Causal Inference인용 수 13

한 줄 요약

이 논문은 합성 데이터에서 신경망을 훈련시켜 경험적 공분산 행렬을 그래프 구조로 매핑함으로써 희소 그래픽 모델을 학습하는 딥러닝 프레임워크를 제안한다. 기존의 분석적 접근 방식인 그래픽 라소와 비교해 실제 유전체 및 뇌 영상 데이터에서 더 높은 정확도와 빠른 속도를 달성하며, 훈련 데이터 분포와는 다른 분포 및 희소성 수준에 대해서도 일반화 성능을 보인다.

ABSTRACT

We consider structure discovery of undirected graphical models from observational data. Inferring likely structures from few examples is a complex task often requiring the formulation of priors and sophisticated inference procedures. Popular methods rely on estimating a penalized maximum likelihood of the precision matrix. However, in these approaches structure recovery is an indirect consequence of the data-fit term, the penalty can be difficult to adapt for domain-specific knowledge, and the inference is computationally demanding. By contrast, it may be easier to generate training samples of data that arise from graphs with the desired structure properties. We propose here to leverage this latter source of information as training data to learn a function, parametrized by a neural network that maps empirical covariance matrices to estimated graph structures. Learning this function brings two benefits: it implicitly models the desired structure or sparsity properties to form suitable priors, and it can be tailored to the specific problem of edge structure discovery, rather than maximizing data likelihood. Applying this framework, we find our learnable graph-discovery method trained on synthetic data generalizes well: identifying relevant edges in both synthetic and real data, completely unknown at training time. We find that on genetics, brain imaging, and simulation data we obtain performance generally superior to analytical methods.

연구 동기 및 목표

• 제한된 표본 수에서 고차원적이고 희소적인 무방향 그래픽 모델의 구조 발견 문제를 해결하기 위해.
• 정규화된 최대우도 추정 방법의 한계, 예를 들어 도메인 특화 사전 지식의 통합 어려움과 높은 계산 비용을 해결하기 위해.
• 데이터 우도 최대화가 아니라 직접적으로 간 구조 복원을 최적화하는 유연하고 학습 가능한 함수를 개발하기 위해.
• 훈련 중에 볼 수 없었던 실제 데이터 분포, 다양한 희소성 패턴 및 네트워크 구조로의 일반화를 가능하게 하기 위해.
• 기존의 그래픽 라소 및 MCMC 기반 접근 방식에 비해 실제 뇌 영상 및 유전체 데이터셋에서 성능과 속도를 향상시키기 위해.

제안 방법

• 경쟁적 공분산 행렬을 추정된 그래프 구조로 매핑하는 데 사용되는 컨볼루션 신경망을 훈련한다. 간 존재 여부를 타깃으로 삼는다.
• 훈련 데이터는 제어된 희소성과 구조를 가진 알려진 희소 그래픽 모델에서 생성된 합성 데이터셋으로 구성된다.
• 손실 함수는 데이터 우도 최대화가 아니라 간 구조 복원 최적화를 위해 명시적으로 설계되었으며, F1 또는 AUC와 같은 성능 지표를 직접 최적화할 수 있다.
• 정규화 펜alties 수동 설계를 피하기 위해 데이터 생성 과정을 통해 희소성 및 구조적 사전 지식을 암묵적으로 학습한다.
• 목표 데이터 분포에 대한 전이 학습 및 미세 조정을 통해 성능 향상을 위한 프레임워크를 제공한다.
• 빠른 추론 속도 덕분에 교차 검증 및 재표본 추출 기반의 불확실성 추정이 가능하다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 훈련된 딥 네트워크가 실제 희소 그래픽 모델 발견 작업으로 일반화 가능한가?
• RQ2 학습 가능한 간 추정기와 그래픽 라소와 같은 분석적 방법 간에 실제 신경영상 및 유전체 데이터에서 정확도와 속도 측면에서 어떤 차이가 있는가?
• RQ3 기존 방법이 어려움을 겪는 소표본 환경에서 학습된 모델이 안정적이고 생물학적으로 타당한 간을 복원할 수 있는가?
• RQ4 훈련 데이터에 존재하지 않는 그래프 구조 및 희소성 수준으로의 일반화 정도는 어느 정도인가?
• RQ5 빠른 추론과 재표본 추출을 통해 효율적인 모델 선택 및 불확실성 정량화를 지원할 수 있는가?

주요 결과

• 제안된 DeepGraph 방법은 실제 유전체 및 뇌 영상 데이터에서 최신 기준 성능을 달성하여 그래픽 라소 및 기타 기준 방법보다 간 선택 정확도에서 뛰어난 성능을 보였다.
• ABIDE 자폐 스펙트럼 장애 및 대조군 데이터셋에서 DeepGraph는 제어군에서 0.57±0.005, 자폐군에서 0.48±0.004의 스피어먼 상관계수를 기록했으며, 이는 그래픽 라소(0.21±0.003 및 0.25±0.003)보다 유의미하게 높았다.
• 50회 반복 실험에서 DeepGraph는 간 선택의 분산이 낮아 다른 방법들, 특히 그래픽 라소와 Ledoit-Wolfe보다 더 뛰어난 안정성을 보였다.
• 훈련 데이터 분포 외의 새로운 데이터 분포, 예를 들어 소월드 구조나 비라플라스티안 구조로도 잘 일반화되었으며, 훈련 데이터에 포함되지 않은 경우에도 성능이 유지되었다.
• 소표본 환경(n=35)에서도 대표 표본(n=368)에서 얻은 그래픽 라소 솔루션과 일치하는 핵심 간을 성공적으로 복원하여 강건성을 입증했다.
• DeepGraph의 추론 속도는 MCMC 및 기타 반복적 방법보다 빠르며, 재표본 추출 기반의 효율적 불확실성 추정이 가능했다.