[논문 리뷰] Graphical Models for Discrete and Continuous Data

Rui Zhuang, Noah Simon외 1명|arXiv (Cornell University)|2016. 09. 18.

Neural Networks and Applications참고 문헌 25인용 수 8

한 줄 요약

이 논문은 이산, 연속, 혼합 데이터 유형을 처리할 수 있도록 일반화한 비향방 그래픽 모델의 통합 프레임워크인 지수 추적 모델을 소개한다. 추적 내적을 사용한 재매arameterization와 샘플링 기반 근사법을 활용한 최대우도 추정을 통해 일관된 추론이 가능해지며, 이는 자극 수 데이터에서 생물학적으로 타당한 신경 회로 연결 패턴을 드러낸다. 기존 가우시안 모델보다 공간적 클러스터링을 더 잘 포착한다.

ABSTRACT

We introduce a general framework for undirected graphical models. It generalizes Gaussian graphical models to a wide range of continuous, discrete, and combinations of different types of data. The models in the framework, called exponential trace models, are amenable to estimation based on maximum likelihood. We introduce a sampling-based approximation algorithm for computing the maximum likelihood estimator, and we apply this pipeline to learn simultaneous neural activities from spike data.

연구 동기 및 목표

• 기존의 가우시안 모델이나 이元 상호작용 모델을 초월하여 이산, 연속, 혼합 데이터 유형을 통합적으로 처리할 수 있는 비향방 그래픽 모델의 일반적 프레임워크를 개발하는 것.
• 최대우도 추정이 프레임워크 내에서 볼록성과 일致성을 보임을 보여 이론적 엄밀성을 확보하는 것.
• 고차원 설정에서 최대우도 추정을 위한 샘플링 기반 근사법을 활용한 확장 가능한 계산 파이프라인을 제공하는 것.
• 실제 신경 자극 수 데이터에서 모델의 유용성을 입증하는 것. 이는 생물학적으로 타당한 공간적 국소화된 연결 패턴을 회복한다.

제안 방법

• 밀도를 $ f_{\mathbf{M}}(\mathbf{x}) = \exp\left( -\langle \mathbf{M}, T(\mathbf{x}) \rangle_{\text{tr}} + \xi(\mathbf{x}) - \gamma(\mathbf{M}) \right) $ 로 표현함으로써 가우시안 그래픽 모델을 일반화한다. 여기서 $ T(\mathbf{x}) $ 는 행렬 기반 충분통계량이고 $ \mathbf{M} $ 은 자연 매개변수이다.
• 모델은 추적 내적을 사용해 매개변수와 충분통계량 간의 대칭성을 확보함으로써 다양한 데이터 유형에 대한 통합 처리를 가능하게 한다.
• 비가우시안 설정에서 정규화 상수가 계산이 불가능한 경우를 대비해 최대우도 추정을 샘플링 기반 근사 알고리즘을 통해 수행한다.
• 모델은 $ q \neq p $ 를 允許함으로써 이질적인 데이터 유형을 포함하는 혼합 그래픽 모델의 압축 표현을 가능하게 한다.
• 신경 자극 수 데이터에 적용할 경우, 낮은 빈도의 자극 수를 근사하기 위해 자승근 변환을 적용하여 모델 적합도를 향상시킨다.
• 그래프의 희박성은 최대우도 추정량을 30개 간선으로 임계처리하여 해석 가능한 네트워크 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 그래픽 모델 프레임워크가 이산, 연속, 혼합 데이터 유형을 일관되게 처리하면서도 이론적 엄밀성을 유지할 수 있는가?
• RQ2 제안된 프레임워크에서 최대우도 추정이 다양한 데이터 유형에 걸쳐 일관되고 효율적인 매개변수 추정을 도출하는가?
• RQ3 정규화 상수가 계산이 불가능한 경우 샘플링 기반 근사 알고리즘이 최대우도 추정량을 신뢰성 있게 계산할 수 있는가?
• RQ4 지수 추적 모델은 자극 수 데이터에서 생물학적으로 의미 있는 신경 회로 연결 패턴을 가우시안 그래픽 모델보다 더 잘 복원하는가?

주요 결과

• 지수 추적 모델은 가우시안 그래픽 모델보다 더 공간적으로 중심화된 신경망 구조를 회복한다. 평균 간선 길이가 169 μm (SE: 24 μm) 이며, 가우시안 모델은 252 μm (SE: 36 μm) 이다.
• 모델은 주 연결 성분과 하나의 고립된 뉴런 유닛을 식별한다. 이 뉴런은 물리적으로 거리가 떨어져 있으며 별개의 기능 그룹일 가능성이 높은 데, 이는 가우시안 모델에서는 명확히 드러나지 않았다.
• 자승근 변환을 적용한 지수 추적 모델은 포isson 분포를 따르는 자극 수를 잘 근사하며, 이는 낮은 빈도의 신경 데이터에 적합함을 검증한다.
• 모델이 추정한 그래프 구조는 시냅스 연결이 가까운 뉴런을 선호한다는 생물학적 증거와 일치한다. 망막 네트워크에서 자극 동시 발생 확률은 거리가 증가함에 따라 감소한다.
• 정규화 상수가 계산이 불가능한 상황에서도 샘플링 기반 근사 알고리즘이 최대우도 추정량을 성공적으로 계산하여 실제 신경 데이터에 대한 실용적 적용을 가능하게 하였다.