[논문 리뷰] Separate Exchangeability as Modeling Principle in Bayesian Nonparametrics

Giovanni Rebaudo, Qiaohui Lin외 1명|arXiv (Cornell University)|2021. 12. 14.

Bayesian Methods and Mixture Models인용 수 8

한 줄 요약

이 논문은 마이크로바이옴 데이터나 단백질, OTU와 같은 구분된 실험 단위를 가진 데이터에 대해 베이지안 비모수 모형의 기초 원칙으로 별개의 교환 가능성을 주장한다. 별개의 교환 가능성을 유지함으로써 단위의 신원을 보존하고, 부분적 또는 공동 교환 가능성보다 더 정확하고 해석 가능한 추론을 가능하게 하는 두 가지 새로운 모형—마이크로바이옴 데이터를 위한 네스티드 랜덤 파artition 모형과 단백질 활성화를 위한 BNP 회귀 모형(덧샘 랜덤 효과 포함)—을 제안한다.

ABSTRACT

We argue for the use of separate exchangeability as a modeling principle in Bayesian nonparametric (BNP) inference. Separate exchangeability is de facto widely applied in the Bayesian parametric case, e.g., it naturally arises in simple mixed models. However, while in some areas, such as random graphs, separate and (closely related) joint exchangeable models are widely used, they are curiously underused for several other applications in BNP. We briefly review the definition of separate exchangeability, focusing on the implications of such a definition in Bayesian modeling. We then discuss two tractable classes of models that implement separate exchangeability, which are the natural counterparts of familiar partially exchangeable BNP models. The first is nested random partitions for a data matrix, defining a partition of columns and nested partitions of rows, nested within column clusters. Many recent models for nested partitions implement partially exchangeable models related to variations of the well-known nested Dirichlet process. We argue that inference under such models in some cases ignores important features of the experimental setup. We obtain the separately exchangeable counterpart of such partially exchangeable partition structures. The second class is about setting up separately exchangeable priors for a nonparametric regression model when multiple sets of experimental units are involved. We highlight how a Dirichlet process mixture of linear models, known as ANOVA DDP, can naturally implement separate exchangeability in such regression problems. Finally, we illustrate how to perform inference under such models in two real data examples.

연구 동기 및 목표

• 다양한 유형의 실험 단위를 포함하는 실험 설계에 자연스럽게 맞는 별개의 교환 가능성이 비모수 베이지안 모형에서 여전히 부족하게 사용되고 있음에도 불구하고 이를 해결하고자 한다.
• 데이터 행렬에서 행과 열의 단위(예: 환자 대비 OTU 또는 단백질)의 신원을 유지하는 모형을 개발하고자 하며, 부분적 또는 공동 교환 가능성 하에서는 이러한 신원이 손실됨을 고려한다.
• 다른 유형의 실험 단위 간의 의존성을 모형화하면서도 각 단위의 고유한 역할을 유지함으로써 더 정확한 추론과 예측을 가능하게 하고자 한다.
• 비모수 모형에 적용 가능한 일반화 가능한 별개의 교환 가능성 프레임워크를 제공하고자 하며, 이는 중첩 파artition 및 덧샘 랜덤 효과 구조에 적용 가능하다.
• 두 가지 실제 데이터 응용 사례를 통해 별개의 교환 가능성이 다른 교환 가능성 가정보다 더 나은 모형 적합도와 더 해석 가능한 결과를 제공함을 보여주고자 한다.

제안 방법

• 열 클러스터가 행 클러스터를 중첩적으로 유도하는 네스티드 랜덤 파artition 모형을 제안하여 행과 열 단위 간의 구분을 유지한다.
• 디리클레 과정 기반의 랜덤 파artition 사전확률을 사용하여 각 열 클러스터 내에서 행 간의 의존적 클러스터링을 유도함으로써 영향력 있고 비모수적인 클러스터링을 가능하게 한다.
• 환자/조건과 단백질/OTU에 대한 별개의 랜덤 효과를 포함하는 베이지안 비모수 회귀 모형을 개발하여 별개의 교환 가능성을 보장한다.
• 각 단위 유형의 랜덤 효과가 공통 분포에서 추출되도록 계층적 사전확률 구조를 설정함으로써 정보 공유를 가능하게 하면서도 단위의 신원을 유지한다.
• Gibbs 샘플링을 사용한 MCMC 기반 사후분포 추론을 구현하며, 파artition 및 파ameter 업데이트에 활용하고, 사후 예측 검증 및 잔차 진단을 포함한다.
• 모형 적합도 진단으로 잔차의 Q-Q 플롯과 R²를 사용하여 모형 성능을 검증하고 적합도를 평가한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 모형에서 별개의 교환 가능성을 공식적으로 정의하고 적용할 수 있는 방법은 무엇인가? 이는 서로 다른 유형의 실험 단위를 포함하는 실험 설계를 더 잘 반영할 수 있는가?
• RQ2 계층적 또는 중첩된 구조를 가진 데이터 행렬을 모형화할 때, 별개의 교환 가능성은 부분적 또는 공동 교환 가능성 대비 어떤 방식으로 추론 성능을 향상시키는가?
• RQ3 마이크로바이옴 데이터와 단백질 활성화 연구에 대해 별개의 교환 가능성이 비모수 모형에서 효과적으로 적용될 수 있는가? 이는 단위의 신원을 유지하고 정확한 예측을 가능하게 하는가?
• RQ4 다른 유형의 단위(예: OTU 또는 단백질)의 클러스터 간에 한 유형의 단위(예: 환자)의 부분 집합 간에 공유되는 의존성을 모형화할 때 별개의 교환 가능성은 어떤 의미를 갖는가?
• RQ5 실제 생물학적 데이터셋에서 별개의 교환 가능성을 기반으로 한 모형은 부분 교환 가능성 기반 모형에 비해 적합도와 해석 가능성 측면에서 어떻게 비교되는가?

주요 결과

• 시뮬레이션에서 마이크로바이옴 데이터에 대한 제안된 별개의 교환 가능성 모형은 진짜 클러스터 구조를 성공적으로 복원하였으며, 상위 100개 단백질 중에서 분류 오류가 전혀 없었다.
• 덧샘 랜덤 효과를 포함한 BNP 회귀 모형은 클러스터 간 평균 R²가 0.70(표준편차 0.075)에 도달하여 뛰어난 모형 적합도를 보였다.
• 잔차의 Q-Q 플롯에서 모형 적합도에 반대되는 증거가 없었으며, 잔차가 약간 정규분포를 따르는 것으로 나타났다.
• 기울기의 절대 차이 |γi|에 따라 단백질을 사후 순위 매기기로 상위 20개 단백질이 시간에 따라 가장 큰 발현 변화를 보이는 것으로 정확히 식별되었다.
• 모형은 실험 단위의 신원(예: 환자 대비 단백질)을 유지하므로, 부분 교환 가능성 하에서는 불가능한 의미 있는 요약을 가능하게 한다.
• 별개의 교환 가능성은 특히 블록 간 공유되는 단위를 포함하는 실험 설계를 더 충실하게 반영할 수 있으며, 공동 또는 부분 교환 가능성보다 더 나은 표현을 가능하게 한다.