[논문 리뷰] Dependent Random Density Functions with Common Atoms and Pairwise Dependence

Spyridon J. Hatjispyros, Theodoros Nicoleris외 1명|arXiv (Cornell University)|2015. 10. 24.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 3

한 줄 요약

이 논문은 다수의 디리클레 프로세스 혼합 모델이 동일한 원소를 공유함으로써 쌍별 상관관계를 유도하는 종속적인 랜덤 밀도 모델을 제안한다. 이는 측도 간 Lp 거리의 정확한 계산을 가능하게 한다. 공통 원소를 재가중화함으로써, 독립적인 원소를 가진 모델에 비해 상당히 감소된 계산 복잡도를 갖는 유연한 상관관계 구조를 달성한다.

ABSTRACT

The paper is concerned with constructing pairwise dependence between $m$ random density functions each of which is modeled as a mixture of Dirichlet process model. The key to this is how to create dependencies between random Dirichlet processes. The present paper adopts a plan previously used for creating pairwise dependence, with the simplification that all random Dirichlet processes share the same atoms. Our contention is that for all dependent Dirichlet process models, common atoms are sufficient. We show that by adopting common atoms, it is possible to compute the $L_p$ distances between all pairs of random probability measures.

연구 동기 및 목표

• 베이지안 비모수 모델에서 m개의 랜덤 확률 측도 간 쌍별 상관관계를 유도하기 위한 방법을 개발한다.
• 모든 랜덤 디리클레 프로세스가 동일한 원소를 공유하도록 제약을 두어 상관관계 모델링을 단순화하고 모델 복잡도를 감소시킨다.
• 공통된 지지집합을 활용해 종속적인 랜덤 측도 간 Lp 거리의 정확한 계산을 가능하게 한다.
• 각 측도에 대해 별개의 원소를 샘플링할 필요가 없게 되어, 특히 깁스 샘플링에서 계산 효율성이 향상된다.
• 공통 원소가 밀도 간 임의의 유사도 또는 이질도 수준을 모델링하는 데 충분한지 검증한다.

제안 방법

• 모든 j에 대해 동일한 원소 $\theta_k$ 를 갖는 디리클레 프로세스 혼합으로 각 랜덤 확률 측도 $\mathbb{P}_j$ 를 구성한다.
• 각 $\mathbb{P}_j$ 의 가중치 $w_{jk}$ 는 스틱 브레이킹 과정을 통해 모델링하여, 공통 원소와 변동하는 가중치를 통해 상관관계를 유도한다.
• 디리클레 프로세스의 구성적 정의를 사용한다: $\mathbb{P}_j = \sum_{k=1}^\infty w_{jk} \delta_{\theta_k}$, 여기서 $\theta_k$ 는 기저 측도 $P_0$ 에서 i.i.d. 로 추출된다.
• 동일한 지지집합을 사용해 측도 간 Lp 거리를 직접 계산함으로써 유사도의 정밀한 측정이 가능하다.
• 깁스 샘플링을 통해 사후 분포를 추정하며, $m(m+1)/2$ 개의 별개 원소 집합을 샘플링할 필요가 없어져 시간 복잡도가 감소한다.
• 가중치 $w_k(z)$ 를 공변량에 따라 의존적으로 만들면서도 공통 원소 $\theta_k$ 를 유지함으로써 회귀 설정으로의 확장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 디리클레 프로세스 간 공통 원소를 사용하여 m개의 랜덤 밀도 함수 간의 쌍별 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 공통 원소를 사용하면 종속적인 랜덤 측도 간 Lp 거리의 정확한 계산과 계산 효율성이 보장되는가?
• RQ3 공통 원소를 갖는 모델과 독립 원소를 갖는 모델 간 군집 성능에서의 강도 빌려쓰기( borrowing of strength) 능력은 어떻게 비교되는가?
• RQ4 공통 원소의 가정이 밀도 간 임의의 유사도 또는 이질도 수준을 포괄하는 데 충분한가?
• RQ5 깁스 샘플링에서 공통 원소 접근법이 독립 원소를 갖는 모델에 비해 어떤 정도의 계산적 이점이 있는가?

주요 결과

• 감마-정규-감마 예제에서 공통 원소를 갖는 CAPDDP 모델은 평균 3.075개의 군집을 기록한 반면, 독립 원소를 갖는 PDDP 모델은 1.571에 그친다.
• 정규 3혼합 예제에서 CAPDDP는 평균 4.861개의 군집을 기록하여 PDDP의 3.090보다 뚜렷이 높게 나타나, 더 강한 강도 빌려쓰기 효과를 보인다.
• 실제 데이터 예제에서는 CAPDDP가 평균 5.045개의 군집을 기록한 반면, PDDP는 단지 3.090개이므로 공통 원소를 갖는 모델이 더 뛰어난 군집 성능을 보임을 확인한다.
• 두 번째 데이터 세트의 선택 확률 $p_{22}$ 는 CAPDDP에서는 0.301, PDDP에서는 0.167로 나타나 공통 원소 모델에서 더 강한 강도 빌려쓰기 효과가 있음을 시사한다.
• CAPDDP와 PDDP 간의 시간 복잡도 차이 $\Delta T$ 는 $\propto \left(\frac{m(m+1)}{2} - 1\right) N^* \sum_{j=1}^m n_j$ 의 비율로 증가하여 공통 원소를 사용할 경우 상당한 계산 절감 효과를 보인다.
• 가중치의 변동만으로도 측도 간 임의의 근접도를 모델링할 수 있으며, 공통 지지집합 덕분에 정확한 거리 계산이 가능하다.