[논문 리뷰] Conditional partial exchangeability: a probabilistic framework for multi-view clustering

Beatrice Franzolini, Maria De Iorio외 1명|arXiv (Cornell University)|2023. 07. 03.

Bayesian Methods and Mixture ModelsComputer Science인용 수 3

한 줄 요약

이 논문은 조건부 부분교환가능성(conditional partial exchangeability)을 도입하여, 다중뷰 클러스터링을 위한 새로운 베이지안 비모수 프레임워크를 제안한다. 이 프레임워크는 특징 간 클러스터링 구조의 다양성을 허용하면서도, 내부에서의 종속성을 모델링할 수 있다. 계층적 랜덤 분할과 종속 디리슈레 프로세스를 활용함으로써, 유연하고 계산적으로 타당한 클러스터링이 가능해지며, 이는 특징별 기여도와 뷰 간 이질적인 클러스터 형태를 포착할 수 있다.

ABSTRACT

Standard clustering techniques assume a common configuration for all features in a dataset. However, when dealing with multi-view or longitudinal data, the clusters' number, frequencies, and shapes may need to vary across features to accurately capture dependence structures and heterogeneity. In this setting, classical model-based clustering fails to account for within-subject dependence across domains. We introduce conditional partial exchangeability, a novel probabilistic paradigm for dependent random partitions of the same objects across distinct domains. Additionally, we study a wide class of Bayesian clustering models based on conditional partial exchangeability, which allows for flexible dependent clustering of individuals across features, capturing the specific contribution of each feature and the within-subject dependence, while ensuring computational feasibility.

연구 동기 및 목표

• 모든 특징에 대해 동일한 클러스터링 구성(configuration)을 가정하는 표준 클러스터링 방법의 한계를 해결하기 위해, 다중뷰 또는 종단형 데이터에서의 이질성을 포착하지 못하는 문제를 해결한다.
• 성장 궤적, 대사물질, 모성 임상 데이터와 같은 다양한 데이터 도메인 간에 클러스터링 구성이 특징별로 다를 수 있는 상황에서, 주체 간 종속성을 모델링한다.
• 특징 간 클러스터의 수, 형태, 빈도가 다양할 수 있도록 데이터 기반으로 탄력적인 클러스터링이 가능한 확률적 프레임워크를 개발한다.
• 조건부 부분교환가능성을 통해 계층적 베이지안 모델을 구성함으로써, 고차원의 다중뷰 환경에서도 계산 가능성을 확보한다.
• 표준 클러스터링이 고차원 특징에 치우치는 경향을 완화하기 위해, 각 특징이 클러스터링 구조에 비례적으로 기여할 수 있도록 한다.

제안 방법

• 다양한 도메인 간 종속적인 랜덤 분할을 위한 확률적 프레임워크로 조건부 부분교환가능성을 제안하여, 주어진 특징 별로 클러스터링 구성이 다를 수 있도록 하면서도 주체 간 종속성을 유지한다.
• 첫 번째 계층이 각 특징의 클러스터링 구성 정의하고, 두 번째 계층이 공유된 잠재 구조를 통해 특징 간 클러스터 할당의 종속성을 모델링하는 계층적 베이지안 모델을 구축한다.
• 특징 간 클러스터 할당의 공동 분포를 모델링하기 위해 종속 디리슈레 프로세스 사전분포를 사용하여, 클러스터 멤버십이 뷰 간 확률적으로 종속되도록 보장한다.
• 특징별로 고유한 가능도 함수(예: 다변량 정규분포)를 통합하고, 예측 분포를 사용하여 클러스터 구성에 대한 적분을 통해 주변 가능도를 계산한다.
• 첫 번째 계층의 클러스터 구성에 조건부로 설정하고 두 번째 계층의 종속성에 대해 통합함으로써, 공동 예측 분포를 유도하여 완전한 베이지안 추론을 가능하게 한다.
• 조건부 독립성 구조를 활용하고 예측 재귀(recursion)를 사용하여 주변 가능도를 효율적으로 계산함으로써 계산의 타당성을 확보한다.

(a) True clustering structure. Observations in each cluster are simulated from a Multivariate Normal with identity variance and covariance matrix.

실험 결과

연구 질문

• RQ1 특징 간 클러스터링 구조가 다양하면서도, 특징 간 주체 간 종속성을 유지할 수 있는 방법은 무엇인가?
• RQ2 공통 클러스터링 구성(configuration)을 가정하지 않고도, 특징별로 탄력적인 클러스터 형태와 수를 허용할 수 있는 확률적 프레임워크는 무엇인가?
• RQ3 다중뷰 데이터에서 고차원 특징이 클러스터링 결과를 지배하지 않도록 보장할 수 있는 방법은 무엇인가?
• RQ4 주어진 뷰 간 종속성을 유지하면서도, 랜덤하고 데이터 기반의 클러스터 선택을 지원하는 베이지안 비모수 모델을 어떻게 구성할 수 있는가?
• RQ5 조건부 부분교환가능성은 이질적인 데이터 유형을 가진 도메인 간 종속 클러스터링을 어떻게 가능하게 하는가?

주요 결과

• 제안된 프레임워크는 토이 예제를 통해 일차원 및 삼차원 특징이 서로 다른 클러스터링 패턴을 가짐을 입증하였다.
• 표준 클러스터링 방법인 k-means와 디리슈레 프로세스 믹스처는 토이 예제에서 높은 차원의 특징에 의해 지배되어 진짜 클러스터링 구조를 탐지하지 못했다.
• 모델의 예측 분포는 특징별 기여도와 내부 종속성을 반영하여 고차원 특징에 대한 편향을 피한다.
• 조건부 부분교환가능성은 특징 간 클러스터 할당의 공동 모델링을 가능하게 하며, 교환가능성이 성립할 경우 일정한 치환에 대해 공동 확률이 불변성을 유지한다.
• 비모수 사전분포를 통해 각 특징의 클러스터 수를 자동으로 선택할 수 있으며, 클러스터 수를 사전에 지정할 필요가 없다.
• 이론적 분석을 통해 특정 구성 조건 하에서 모델이 조건부 교환가능성을 만족함을 확인하였으며, 이는 종속된 뷰 간 타당한 확률적 추론을 보장한다.

(b) k-means clustering configuration with the number of clusters determined by elbow plot, gap statistics ( Tibshirani et al. , 2001 ) , and silhouette method ( Kaufman and Rousseeuw , 2009 ) .