[논문 리뷰] Negative Binomial Construction of Random Discrete Distributions on the Infinite Simplex

Yuguang Ipsen, Ross Maller|arXiv (Cornell University)|2018. 02. 07.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 8

한 줄 요약

이 논문은 파라미터 $r>0$와 Lévy 밀도 $\rho$를 가진 음이이항점과정을 사용하여, 무한 단체 위의 새로운 무작위 이산분포 클래스 $\mathbf{PK}^{(r)}(\rho)$를 제안한다. 주요 기여는 두 파rameter Poisson-Dirichlet 분포 $\mathbf{PD}(\alpha,\theta)$($\theta>0$)를 포함하는 일반화, 잘린 안정 하위조직자 프레임워크의 확장, 그리고 정규화된 점프에 대한 스틱브레이킹 표현과 극한 법칙의 제공이다.

ABSTRACT

The Poisson-Kingman distributions, $\mathrm{PK}(ρ)$, on the infinite simplex, can be constructed from a Poisson point process having intensity density $ρ$ or by taking the ranked jumps up till a specified time of a subordinator with Lévy density $ρ$, as proportions of the subordinator. As a natural extension, we replace the Poisson point process with a negative binomial point process having parameter $r>0$ and Lévy density $ρ$, thereby defining a new class $\mathrm{PK}^{(r)}(ρ)$ of distributions on the infinite simplex. The new class contains the two-parameter generalisation $\mathrm{PD}(α, θ)$ of Pitman and Yor (1997) when $θ>0$. It also contains a class of distributions derived from the trimmed stable subordinator. We derive properties of the new distributions, with particular reference to the two most well-known $\mathrm{PK}$ distributions: the Poisson-Dirichlet distribution $\mathrm{PK}(ρ_θ)$ generated by a Gamma process with Lévy density $ρ_θ(x) = θe^{-x}/x$, $x>0$, $θ> 0$, and the random discrete distribution, $\mathrm{PD}(α,0)$, derived from an $α$-stable subordinator.

연구 동기 및 목표

• 무한 단체 위의 무작위 이산분포에 대한 Poisson-Kingman 프레임워크를 일반화하기 위해, 기존의 포아송 점과정을 음이이항 점과정으로 대체한다.
• 기존 분포들인 $\mathbf{PD}(\alpha,\theta)$ 및 $\mathbf{PD}_{\alpha}^{(r)}$를 일반화하는 추가 파rameter $r>0$를 도입하여 데이터의 과분산을 다루는 데 목적이 있다.
• 새로운 클래스 $\mathbf{PK}^{(r)}(\rho)$의 정규화된 점프에 대한 스틱브레이킹 표현과 극한 법칙을 유도함으로써, 꼬리가 두꺼운 또는 이상치에 민감한 구조를 가진 실제 데이터의 모델링을 향상시킨다.
• 최대우도추정기의 일관성이 떨어지는 $\mathbf{PD}(\alpha,\theta)$의 파라미터 $\theta$에 대한 통계적 추정을 향상시키기 위해, 민감도가 높은 $r$-파라미터 확장 도입.

제안 방법

• 기존의 고전적 Poisson-Kingman 구성에서 포아송 과정을 파라미터 $r>0$와 Lévy 밀도 $\rho$를 가진 음이이항 점과정으로 대체하여 새로운 클래스 $\mathbf{PK}^{(r)}(\rho)$를 구성한다.
• 정규화된 점프 크기 $\mathbf{V}^{(r)} = (V_1^{(r)}, V_2^{(r)}, \ldots)$는 점과정의 순서를 매긴 점프들을 그 합으로 나누어 정의되며, 이는 무한 단체 위의 분포를 이룬다.
• 연속된 점프의 비율에서 유도된 베타분포를 가진 랜덤 변수의 순서와 관련지어 정규화된 점프에 대한 스틱브레이킹 표현을 수립한다.
• Lévy 과정의 지수적 기능을 기반으로 한 측도 변화 기법을 사용하여, 원래 $\mathbf{V}$와 기능 $\mathfrak{E}_1 = \Lambda(\Delta_1, \infty)$를 이용해 정규화된 벡터 $\mathbf{V}^{(r)}$의 분포를 유도한다.
• 극한 $\lim_{n\to\infty} n V_n^{(r)\alpha} / V_1^{(r)\alpha}$가 거의 확실히 그리고 $p$차 수렴에 대해 $\mathfrak{E}_1 / V_1^{(r)\alpha}$로 수렴함을 증명하며, 꼬리 행동을 Lévy 측도와 연결한다.
• 클래스 $\mathbf{PK}^{(r)}(\rho)$가 $\theta>0$인 두 파라미터 Poisson-Dirichlet 분포 $\mathbf{PD}(\alpha,\theta)$와 잘린 안정 하위조직자 분포 $\mathbf{PD}_{\alpha}^{(r)}$를 포함함을 입증하며, 기존 결과를 확장한다.

실험 결과

연구 질문

• RQ1 무한 단체 위의 무작위 이산분포에 대한 Poisson-Kingman 구성은 어떻게 음이이항 점과정을 통해 과분산 데이터를 수용할 수 있도록 일반화될 수 있는가?
• RQ2 새로운 클래스 $\mathbf{PK}^{(r)}(\rho)$의 정규화된 점프에 대한 스틱브레이킹 표현은 무엇이며, 기존 Poisson-Kingman 프레임워크와의 관계는 어떠한가?
• RQ3 무한 단체 위의 정규화된 점프의 꼬리 확률의 극한 행동은 무엇이며, Lévy 측도를 통해 어떻게 특성화되는가?
• RQ4 $\mathbf{PK}^{(r)}(\rho)$ 클래스는 두 파라미터 Poisson-Dirichlet 분포 $\mathbf{PD}(\alpha,\theta)$와 잘린 안정 하위조직자 분포 $\mathbf{PD}_{\alpha}^{(r)}$와 어떻게 관련이 있는가?
• RQ5 추가 파라미터 $r>0$는 기존에 알려진 $\theta$에 대한 최대우도추정기의 일관성 부족 문제를 해결하여 $\mathbf{PD}(\alpha,\theta)$의 $\theta$ 추정을 향상시킬 수 있는가?

주요 결과

• 음이이항 구성은 고전적 Poisson-Kingman 프레임워크를 일반화하는 새로운 클래스 $\mathbf{PK}^{(r)}(\rho)$를 생성한다.
• $\mathbf{PK}^{(r)}(\rho)$ 클래스는 $\theta>0$인 두 파라미터 Poisson-Dirichlet 분포 $\mathbf{PD}(\alpha,\theta)$를 포함하며, 그 적용 범위를 확장한다.
• 정규화된 점프에 대한 스틱브레이킹 표현이 유도되었으며, 이는 정규화된 점프가 서로 독립적이고 동일하게 분포된 베타분포 변수들의 곱으로 표현됨을 보여주며, $\mathbf{PD}(\alpha,\theta)$의 표준 스틱브레이킹을 일반화한다.
• 극한 $\lim_{n\to\infty} n V_n^{\alpha} / V_1^{\alpha}$는 거의 확실히 그리고 $p$차 수렴에 대해 $\mathfrak{E}_1 / V_1^{\alpha}$로 수렴하며, 이는 꼬리 특성화를 제공한다.
• $\mathbf{PK}^{(r)}(\rho)$ 클래스는 잘린 안정 하위조직자 분포 $\mathbf{PD}_{\alpha}^{(r)}$를 포함하며, 음이이항 점과정과 안정 하위조직자 간의 연결 고리를 확립한다.
• 이 프레임워크는 과분산 또는 이상치에 민감한 데이터(예: 단어 빈도 또는 자본화 분포 등)를 모델링하는 데 특히 효과적인 Poisson-Kingman 모델의 민감도 높은 대체 모델을 제공한다.