[논문 리뷰] Learning to Discover Probabilistic Graphical Model Structures

Eugene Belilovsky, Kyle Kastner외 2명|arXiv (Cornell University)|2016. 05. 06.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 1

한 줄 요약

이 논문은 합성 데이터에서 학습한 신경망을 통해 경험적 공분산 행렬에서 확률적 그래픽 모델 구조를 탐지하는 딥러닝 접근법을 제안한다. 기존의 분석적 사전 확률을 회피하기 위해, 공분산 행렬에서 그래프 구조로의 매핑을 학습함으로써 전통적인 분석적 사전 확률을 생략한다. 이 방법은 그래픽 라소와 같은 분석적 방법에 비해 경쟁력 있거나 더 뛰어난 성능을 보이며, 유의미하게 빠른 추론 속도를 제공하며 유전학, 뇌 영상, 시뮬레이션 분야의 실제 데이터에 잘 일반화된다.

ABSTRACT

In this work we consider structure discovery of undirected graphical models from observational data. Inferring likely structures from few examples is a complex task often requiring formulating priors and sophisticated inference procedures. In the setting of Gaussian Graphical Models (GGMs) a popular approach to formulating an estimator is with a penalized maximum likelihood objective on the precision matrix. This objective is often difficult to design to specifically fit ones priors and the graph structure recovery is often not explicitly possible to embed in the objective, moreover incorporating any additional assumptions often requires a great deal of research effort. By contrast, it may be easier to generate samples of data that are arise from graphs with the desired properties. We propose here to leverage this latter source of information in order to learn a function that maps from empirical covariance matrices to estimated graph structures. This learned function brings two benefits: it implicitly models the desired structure or sparsity properties to form suitable priors, and it can more directly be tailored to the specific problem of edge structure discovery. We apply this framework to several critical real world problems in structure discovery and show that it can be competitive to standard approaches such as graphical lasso, at a fraction of the execution speed. We use deep neural networks to parametrize our estimators. Experimentally, our learn able graph discovery method trained on synthetic data generalizes well to different data: identifying relevant edges in real data, completely unknown at training time. We find that on genetics, brain imaging, and simulation data we obtain competitive (and often superior) performance, compared with analytical methods.

연구 동기 및 목표

• 비방향 그래픽 모델, 특히 가우시안 그래픽 모델(GGMs)에서의 구조 탐지 과제를 해결하기 위해, 기존의 페널라이제드 우도 방법이 특정 구조적 사전 확률에 맞추기 어려운 점을 다루기 위함.
• 그래픽 라소와 같은 분석적 추정기에서 스파arsity나 특정 그래프 성질과 같은 구조적 가정을 통합하는 데 어려움을 극복하기 위함.
• 알려진 그래프 성질을 가진 합성 데이터에서 학습함으로써, 명시적 정규화 없이도 바람직한 구조적 사전 확률을 암묵적으로 학습하는 데이터 기반 접근법을 개발하기 위함.
• 경험적 공분산 행렬에서 그래프 구조로의 반복 최적화를 대체하는 학습된, 미분 가능한 매핑을 통해 더 빠르고 더 영리한 그래프 구조 탐지 가능하게 하기 위함.

제안 방법

• 심층 신경망을 사용하여 경험적 공분산 행렬에서 추정된 그래프 구조로의 함수를 매개변수화함.
• 지식이 있는 진짜 그래프 구조를 가진 대규모 합성 데이터에서 학습함. 이 데이터는 스파arsity나 특정 구조 등 원하는 성질을 제어할 수 있음.
• 목적 함수에 명시적 정규화를 사용하지 않고도 데이터 분포를 통해 암묵적으로 구조적 사전 확률을 학습할 수 있는 네트워크의 능력을 활용함.
• 학습 중에 볼 수 없었던 실제 데이터에 대해, 경험적 공분산 행렬을 입력으로 넣고 직접 엣지 구조를 예측함으로써 훈련된 모델을 적용함.
• 합성 검증 세트에서 엣지 예측 정확도를 최적화하기 위해, 엔드 투 엔드 학습과 미분 가능한 손실 함수를 사용함.
• 유전자 네트워크 추론, 뇌 기능 연결성 맵핑, 시뮬레이션 기반의 구조 복원과 같은 후속 작업에 학습된 모델을 통합함.

실험 결과

연구 질문

• RQ1 합성 데이터에서 학습한 딥러닝 네트워크가 실세계 데이터에 대해 비방향 그래픽 모델의 구조 탐지에 일반화될 수 있는가?
• RQ2 그래픽 라소와 같은 분석적 방법에 비해 학습된 그래프 탐지 방법의 정확도와 속도 측면에서 성능는 어떻게 비교되는가?
• RQ3 명시적 정규화 없이도 스파arsity나 특정 구조적 패턴과 같은 구조적 사전 확률을 얼마나 잘 암묵적으로 학습할 수 있는가?
• RQ4 유전학이나 뇌 영상과 같은 훈련 데이터에 포함되지 않은 데이터 도메인에 적용했을 때도 모델이 강력한 일반화 성능을 유지하는가?

주요 결과

• 제안된 방법은 실제 유전학, 뇌 영상, 시뮬레이션 데이터셋에서 그래픽 라소와 같은 분석적 방법에 비해 경쟁력 있거나 더 뛰어난 성능을 달성한다.
• 학습 중에 전혀 접하지 못한 실제 데이터에 대해 효과적으로 일반화되며, 새로운 도메인에 대해 강력한 제로샷 일반화 성능을 보여준다.
• 전통적 접근법 대비 실행 속도의 일부분만으로도 작동하여 정확도를 희생시키지 않은 채 매우 빠른 추론이 가능하다.
• 딥러닝 기반 추정기는 합성 데이터 학습을 통해 스파arsity와 연결성 패턴과 같은 구조적 사전 확률을 암묵적으로 학습함으로써 수동 정규화 설계가 필요 없어진다.
• 고차원 생물학적 및 뇌 영상 데이터를 포함한 다양한 데이터 유형에서 성능가 지속적으로 높아지며, 넓은 적용 가능성을 시사한다.