[논문 리뷰] Poisson-Randomized Gamma Dynamical Systems

Aaron Schein, Scott W. Linderman외 3명|arXiv (Cornell University)|2019. 10. 28.

Bayesian Methods and Mixture Models인용 수 13

한 줄 요약

이 논문은 순차적으로 관측된 카운트 텐서를 위한 유사한 베이지안 모델인 포아송-랜덤화된 감마 동적 시스템(Poisson-Randomized Gamma Dynamical System, PRGDS)을 소개한다. 이 모델은 닫힌 형태의 추론을 가능하게 하기 위해 이산적 포아송 잠재 상태와 연속적 감마 잠재 상태의 번갈아 가며 연결된 사슬을 활용한다. 주요 기여는 감마 상태가 정확히 0이 될 수 있도록 하는 PRGDS의 희박한 변형으로, 이는 부스터리, 시간적으로 국한된 잠재적 구조를 실세계 데이터(텍스트, 국제 사건, 신경 스パイ크 트레인 포함)에서 고유하게 추론할 수 있으며, 스무딩 및 예측 작업에서 다른 모델들을 항상 능가한다.

ABSTRACT

This paper presents the Poisson-randomized gamma dynamical system (PRGDS), a model for sequentially observed count tensors that encodes a strong inductive bias toward sparsity and burstiness. The PRGDS is based on a new motif in Bayesian latent variable modeling, an alternating chain of discrete Poisson and continuous gamma latent states that is analytically convenient and computationally tractable. This motif yields closed-form complete conditionals for all variables by way of the Bessel distribution and a novel discrete distribution that we call the shifted confluent hypergeometric distribution. We draw connections to closely related models and compare the PRGDS to these models in studies of real-world count data sets of text, international events, and neural spike trains. We find that a sparse variant of the PRGDS, which allows the continuous gamma latent states to take values of exactly zero, often obtains better predictive performance than other models and is uniquely capable of inferring latent structures that are highly localized in time.

연구 동기 및 목표

• 순차적으로 관측된 카운트 텐서에서 복잡하고 부스터리적인 시간 동적 특성을 포괄할 수 있는 계산적으로 타당한 모델의 부족을 해결하기 위해.
• 카운트 데이터에서 희박성과 부스터리성에 강한 인덕티브 바이어스를 포함하는 베이지안 잠재변수 모델을 개발하기 위해.
• 기존의 포아송-감마 상태공간 모델에서 비공액 사슬의 비계산 불가능성을 극복하기 위해 새로운 모델링 모티프를 도입하기 위해.
• 복잡한 의존성 구조를 유지하면서도 고차원적이고 희박한 카운트 텐서에 대해 효율적이고 확장 가능한 추론을 가능하게 하기 위해.
• 실세계 데이터에서의 성능 평가를 통해 모델이 매우 국소화된, 부스터리적인 잠재 성분을 고유하게 추론할 수 있음을 입증하기 위해.

제안 방법

• 비계산 불가능한 상태공간 모델의 의존성 문제를 해결하기 위해, 이산적 포아송 상태와 연속적 감마 상태가 번갈아 가며 연결된 새로운 모델링 모티프를 제안한다.
• 베셀 분포와 새로운 이산 분포인 이동형 콘플루언트 하이퍼기하분포(Shifted Confluent Hypergeometric, SCH) 분포를 사용하여 모든 변수에 대해 닫힌 형태의 완전조건부 분포를 유도한다.
• 감마 상태가 정확히 0이 될 수 있도록 하는 PRGDS의 희박한 변형을 도입하여, 희박성과 부스터리성에 강력한 인덕티브 바이어스를 구현한다.
• 분석적 업데이트를 활용한 변분 추론을 적용하여 대규모이고 희박한 카운트 텐서에서의 효율적 사후 확률 계산을 가능하게 한다.
• 다른 모델 간의 잠재 구조를 정량적으로 비교하기 위해, 성분을 정렬하기 위해 헝가리안 알고리즘을 사용한다.
• 실세계 데이터 세트(텍스트, 국제 사건 데이터, 신경 스パイ크 트레인 포함)에 모델을 적용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 카운트 텐서를 위한 베이지안 상태공간 모델이 복잡한 시간 동적 특성을 표현하면서도 계산적으로 타당한가?
• RQ2 감마 상태 사이에 이산적 포아송 잠재 상태를 도입함으로써, 이질적인 모델에서도 닫힌 형태의 추론이 가능해지는가?
• RQ3 PRGDS의 희박한 변형이 비희박한 대안보다 더 잘 부스터리적이고 시간적으로 국소화된 잠재적 구조를 포착할 수 있는가?
• RQ4 실세계 카운트 데이터에서 PRGDS가 PGDS 및 기타 베이스라인과 비교해 스무딩 및 예측 성능에서 어떻게 성과를 내는가?
• RQ5 PRGDS는 신경 및 사건 데이터에서 특히 짧고 집중적인 활동에 해당하는 매우 국소화된 잠재 성분을 고유하게 추론할 수 있는가?

주요 결과

• 16개의 연구 전반에서, 희박한 PRGDS는 스무딩 및 예측 작업에서 비희박한 변형보다 일관되게 뛰어난 성능을 보였다.
• 8개의 스무딩 연구 중 5개에서, 희박한 PRGDS는 정보 수득량 측면에서 PGDS를 능가했으며, 나머지 3개에서는 성능이 유사했다.
• 8개의 예측 연구 중 4개에서 PGDS가 PRGDS를 능가했고, 나머지 4개에서는 성능이 유사했다.
• 희박한 PRGDS는 신경 스파이크 트레인 데이터에서 짧은 지속 시간 성분이나 잠시 동안만 활성화되는 국제 사건 연합과 같은, 부스터리적이고 매우 국소화된 시간적 잠재적 구조를 고유하게 추론한다.
• 희박한 변형에서 감마 상태의 주변 기대값이 PGDS와 일치하며, 예측 수평선에 따라 증가하는 덧셈 항이 없어, 이는 향상된 예측 성능을 설명할 수 있다.
• 정성적 분석은 희박한 PRGDS가 PGDS나 다른 베이스라인에서 포착하지 못한 성분, 특히 짧고 집중적인 활동 폭발 주기에 활성화되는 성분을 추론함을 확인한다.