[논문 리뷰] Review of Probability Distributions for Modeling Count Data

F. William Townes|arXiv (Cornell University)|2020. 01. 10.

Data Management and Algorithms참고 문헌 19인용 수 6

한 줄 요약

이 논문은 수형 데이터에 대한 확률 분포에 대한 철저한 검토를 제공하며, 세부적인 유도를 통해 포아송, 음이이항, 다항분포 및 딜리클-다항분포 모델 간의 기본적인 연결 고리를 수립한다. 주요 기여는 동일한 확률 변수의 합을 조건으로 하여 독립적인 음이이항 랜덤 변수들의 조건부 분포가 딜리클-다항분포가 됨을 엄밀히 증명한 것이다. 이는 유전체학 및 토픽 모델링과 같은 분야에서 더 현실적인 딜리클-다항분포 모델에 대한 계산적으로 다룰 수 있는 음이이항 모델의 사용을 정당화한다.

ABSTRACT

Count data take on non-negative integer values and are challenging to properly analyze using standard linear-Gaussian methods such as linear regression and principal components analysis. Generalized linear models enable direct modeling of counts in a regression context using distributions such as the Poisson and negative binomial. When counts contain only relative information, multinomial or Dirichlet-multinomial models can be more appropriate. We review some of the fundamental connections between multinomial and count models from probability theory, providing detailed proofs. These relationships are useful for methods development in applications such as topic modeling of text data and genomics.

연구 동기 및 목표

• 통계 모델링에서 흔히 사용되는 수형 및 구성비 분포 간의 이론적 관계를 명확히 하고 공식화하기.
• 포아송-감마, 음이이항, 다항분포 및 딜리클-다항분포 간의 관계에 관해 적용 분야 문헌에서 널리 퍼져 있는 혼동을 해결하기.
• 이러한 관계에 대한 폐쇄형 유도 및 증명을 제공하여 유전체학 및 텍스트 분석 분야의 방법론 개발을 지원하기.
• 이러한 관계가 모델 선택에 미치는 영향을 평가하기, 특히 고속도 시퀀싱 및 토픽 모델링 응용 분야에서의 영향을 중심으로 하기.
• 감마 및 딜리클 같은 공액 사전 분포의 한계를 부각하고 더 유연한 모델링을 위한 대안을 제안하기.

제안 방법

• 감마 분포를 가진 강도 파rameter의 근사화를 통해 음이이항과 포아송-감마 혼합 간의 동치성을 유도한다.
• 독립적인 감마 분포를 가진 랜덤 변수들의 합이 정규화된 형태로 딜리클 분포가 되는 것을 증명함으로써 다항분포 모델과의 기초적 연결 고리를 확립한다.
• 다항분포가 총합이 고정된 독립적인 포아송 변수들과 동치임을 보여주며, 포아송 기반 근사화를 가능하게 한다.
• 공통의 척도 파rameter θ를 갖는 조건 하에서, 독립적인 음이이항 변수들의 합을 조건으로 하여 딜리클-다항분포가 되는 것을 수립한다.
• 다변량 변환 기법과 자코비안 행렬식을 사용하여 정규화된 감마 변수들의 결합 분포를 유도함으로써 딜리클 분포에 도달한다.
• 베이즈 정리를 적용하여 독립적인 음이이항 변수들의 합을 조건으로 하여 조건부 질량 함수를 유도함으로써 딜리클-다항분포 형태임을 확인한다.

실험 결과

연구 질문

• RQ1 음이이항 분포는 어떻게 포아송-감마 혼합으로 엄밀히 유도될 수 있는가?
• RQ2 딜리클 분포와 독립적인 감마 분포 변수들의 합의 정규화된 형태 사이의 정확한 수학적 관계는 무엇인가?
• RQ3 다항분포는 어떻게 독립적인 포아송 변수들의 총합이 고정된 조건에서 동치가 되는가?
• RQ4 독립적인 음이이항 변수들의 합을 조건으로 하여 조건부 분포가 딜리클-다항분포가 되는 조건은 무엇인가?
• RQ5 공통의 척도 파arameter θ의 가정이 음이이항 변수들로부터 딜리클-다항분포를 구성하는 데 있어 왜 필수적인가?

주요 결과

• 음이이항 분포는 감마 분포를 가진 강도 파arameter를 갖는 포아송 분포와 수학적으로 동치이며, 근사화를 통해 폐쇄형 질량 함수를 도출할 수 있다.
• 딜리클 분포는 독립적인 감마 분포를 가진 랜덤 변수들의 정규화된 형태로 발생하며, 감마 분포의 합은 개별 형태의 합과 같은 형태의 형태 파arameter를 갖는 감마 분포를 따른다.
• 총합이 m이고 카테고리 확률가 πi인 다항분포는 총합이 m이 되는 조건 하에 n개의 독립적인 포아송(λi) 변수와 동치이며, 여기서 λi = mπi이다.
• 총합이 m이고 농도 파aram터가 αi인 딜리클-다항분포는 공통의 척도 파arameter θ를 갖는 n개의 독립적인 음이이항(αi, θ) 변수들의 합이 M = m이 되는 조건 하에서 동치이다.
• 음이이항 성분들 간에 동일한 θ가 필요하다. 그렇지 않으면 합 M이 폐쇄형 분포를 따르지 않으며, 조건부 분포도 딜리클-다항분포가 되지 않는다.
• 이 이론적 동치성은 토픽 모델링 및 단세포 RNA-시퀀싱 분석과 같은 분야에서 음이이항 모델을 딜리클-다항분포 모델에 대한 계산적으로 효율적인 근사로 사용할 수 있음을 뒷받침한다.