[논문 리뷰] Scalable Bayesian Inference for Excitatory Point Process Networks

Scott W. Linderman, Ryan P. Adams|arXiv (Cornell University)|2015. 07. 12.

Point processes and geometric inequalities참고 문헌 3인용 수 29

한 줄 요약

이 논문은 다변량 하크스 과정으로 모델링된 흥분성 포인트 프로세스 네트워크에서 베이지안 추론을 위한 확장 가능한 스토하스틱 변분 추론(SVI) 알고리즘을 제안한다. 이중 이산 시간 설정을 도입하고 네트워크 구조에 대한 공액 사전분포를 활용함으로써, 장기간의 신경 활동 데이터에 대한 효율적인 추론이 가능해졌으며, 연결성 지능 데이터셋에서 MCMC 및 배치 변분 추론보다 빠르고 예측 성능이 뛰어나다.

ABSTRACT

Networks capture our intuition about relationships in the world. They describe the friendships between Facebook users, interactions in financial markets, and synapses connecting neurons in the brain. These networks are richly structured with cliques of friends, sectors of stocks, and a smorgasbord of cell types that govern how neurons connect. Some networks, like social network friendships, can be directly observed, but in many cases we only have an indirect view of the network through the actions of its constituents and an understanding of how the network mediates that activity. In this work, we focus on the problem of latent network discovery in the case where the observable activity takes the form of a mutually-excitatory point process known as a Hawkes process. We build on previous work that has taken a Bayesian approach to this problem, specifying prior distributions over the latent network structure and a likelihood of observed activity given this network. We extend this work by proposing a discrete-time formulation and developing a computationally efficient stochastic variational inference (SVI) algorithm that allows us to scale the approach to long sequences of observations. We demonstrate our algorithm on the calcium imaging data used in the Chalearn neural connectomics challenge.

연구 동기 및 목표

• 이벤트 시퀀스를 통해 간접적으로 관측되는 상호작용이 있는 시스템(예: 신경 세포의 스파크 또는 소셜 미디어 활동)에서 잠재적 네트워크 탐색의 과제를 해결하기 위해.
• 신경과학 및 금융 데이터에서 흔히 볼 수 있는 장기간 관측 시퀀스를 처리할 수 있는 확장 가능한 추론 방법을 개발하기 위해.
• 더 빠른 수렴을 가능하게 하기 위해 미니배치 처리를 허용하는 MCMC 및 배치 변분 추론 기반 기존 방법들을 초월하기 위해.
• 해결책 기반 또는 점 추정 방법에서 제공되지 않는, 네트워크 연결에 대한 校정된 사후 불확실성 추정치를 제공하기 위해.
• 칼슘 형광 추적에서 유래한 실제 연결성 지능 데이터에서의 성능을 입증하기 위해, Chalearn 챌린지의 실제 데이터를 활용하여 네트워크 구조를 추론한다.

제안 방법

• 고속 이벤트 데이터에 특히 유리한 계산 효율성을 향상시키기 위해 다변량 하크스 과정의 이산 시간 설정을 도입한다.
• 상호작용 가중치에 대한 구조적이고 희박한 네트워크 사전분포를 표현하기 위해 스토하스틱 블록 모델(SBM) 기반의 계층적 사전분포를 사용한다.
• 충격 응답을 정규화된 기저 함수의 볼록 조합으로 가정함으로써 모델을 완전히 공액으로 만들었으며, 이는 변분 추론 프레임워크 내에서 분석적 갱신을 가능하게 한다.
• 미니배치의 시간 포인트를 처리하는 스토하스틱 변분 추론(SVI) 알고리즘을 개발하여 빠르고 확장 가능한 사후 근사 추정을 가능하게 한다.
• 각 반복에서의 비용을 줄이고 수렴 속도를 높이기 위해, 미니배치 기반의 효율적 충분통계 계산을 활용한 평균장 변분 추론을 사용한다.
• 사후 불확실성은 변분 사후를 통해 추정되며, 추론된 네트워크 연결에 대한 신뢰구간을 제공한다.

실험 결과

연구 질문

• RQ1 하크스 과정의 이산 시간 설정이 장기간의 이벤트 시퀀스에 대해 계산 효율성을 향상시킬 수 있는가?
• RQ2 스토하스틱 변분 추론(SVI)이 MCMC나 배치 변분 추론보다 포인트 프로세스 네트워크에서 베이지안 네트워크 탐색을 더 효과적으로 확장시킬 수 있는가?
• RQ3 제안된 방법이 교차상관관계 임계치 설정과 같은 히우리스틱 기반 기준 대비 실제 연결성 지능 데이터에서 더 정확한 네트워크 복원을 제공하는가?
• RQ4 베이지안 프레임워크가 추론된 네트워크 연결에 대해 校정된 사후 불확실성 추정치를 제공할 수 있는가, 이는 해석 가능성 향상에 기여하는가?
• RQ5 예를 들어 스토하스틱 블록 모델과 같은 구조적 사전분포의 포함이 희박하고 실제 세계적인 시스템에서의 네트워크 탐색을 어떻게 향상시키는가?

주요 결과

• SVI 알고리즘은 Chalearn 연결성 지능 챌린지의 네트워크 6에서 링크 예측 성능이 가장 뛰어나며, 정밀도-재현율 곡선 아래 면적(AUC-PRC)이 0.410으로 MCMC 및 배치 변분 추론을 모두 앞섰다.
• Chalearn 데이터셋의 다섯 개 네트워크 중 네 개에서, SVI를 사용한 베이지안 하크스 모델이 기준 방법보다 우수하거나 경쟁 가능한 성능을 보였으며, PRC 점수는 교차상관관계 임계치 설정보다 일관되게 높았다.
• 알고리즘은 뚜렷한 속도 우위를 보였다: 각 SVI 반복은 지그비나 배치 VB보다 훨씬 빠르며, 단지 미니배치 데이터만으로도 예측 로그우도가 급격히 향상되었다.
• SVI로부터 유도된 사후 불확실성 추정치는 잘 校정되어 있었으며, 높은 신뢰도 예측(높은 사후 평균/표준편차 비율)이 진짜 연결에 더 자주 해당하는 것으로 나타났다(그림 4(c) 참조).
• 이산 시간 설정 덕분에 고속도 데이터에서도 효율적인 계산이 가능했으며, 50Hz 칼슘 형광 추적에서 10분 분량의 데이터는 300만 개의 시간 버킷으로 변환되어 대규모 추론이 가능하게 되었다.
• OOPSI를 통한 사전 처리 후 칼슘 이미징 데이터로부터 네트워크 구조를 성공적으로 복원하여 실제 신경과학 응용 분야에서의 실용성을 입증했다.