[논문 리뷰] Statistical power for cluster analysis

E. S. Dalmaijer, C. L. Nord외 1명|arXiv (Cornell University)|2020. 03. 01.

Statistical Methods and Bayesian Inference인용 수 26

한 줄 요약

이 논문은 군집 분석의 통계적 검정력 추정을 위한 시뮬레이션 기반 프레임워크를 제안하며, 공통적인 알고리즘들에서 하위군 크기, 분리도(효과 크기), 공분산 구조가 검정력에 미치는 영향을 평가한다. 연구 결과, 큰 효과 크기(Δ=4) 또는 다수의 작은 효과가 존재할 경우 N=20–30의 하위군당 표본 수로도 충분한 검정력을 확보할 수 있으며, 겹치는 다변량 정규 분포에 대해서는 k-means보다 퍼지 클러스터링 또는 유한 혼합 모델이 더 우수한 성능을 보인다.

ABSTRACT

Cluster algorithms are increasingly popular in biomedical research due to their compelling ability to identify discrete subgroups in data, and their increasing accessibility in mainstream software. While guidelines exist for algorithm selection and outcome evaluation, there are no firmly established ways of computing a priori statistical power for cluster analysis. Here, we estimated power and accuracy for common analysis pipelines through simulation. We varied subgroup size, number, separation (effect size), and covariance structure. We then subjected generated datasets to dimensionality reduction (none, multidimensional scaling, or UMAP) and cluster algorithms (k-means, agglomerative hierarchical clustering with Ward or average linkage and Euclidean or cosine distance, HDBSCAN). Finally, we compared the statistical power of discrete (k-means), "fuzzy" (c-means), and finite mixture modelling approaches (which include latent profile and latent class analysis). We found that outcomes were driven by large effect sizes or the accumulation of many smaller effects across features, and were unaffected by differences in covariance structure. Sufficient statistical power was achieved with relatively small samples (N=20 per subgroup), provided cluster separation is large (Δ=4). Fuzzy clustering provided a more parsimonious and powerful alternative for identifying separable multivariate normal distributions, particularly those with slightly lower centroid separation (Δ=3). Overall, we recommend that researchers 1) only apply cluster analysis when large subgroup separation is expected, 2) aim for sample sizes of N=20 to N=30 per expected subgroup, 3) use multidimensional scaling to improve cluster separation, and 4) use fuzzy clustering or finite mixture modelling approaches that are more powerful and more parsimonious with partially overlapping multivariate normal distributions.

연구 동기 및 목표

• 생물의학 연구에서 군집 분석에 대한 사전 검정력 분석 방법이 확립되어 있지 않은 문제를 해결하기 위해.
• 하위군 크기, 하위군 수, 효과 크기(분리도), 공분산 구조가 통계적 검정력에 미치는 영향을 평가하기 위해.
• 이산적(k-means), 퍼지적(c-means), 유한 혼합 모델링(잠재 프로파일/클래스 분석) 접근 방식의 성능을 비교하기 위해.
• 표본 크기 및 알고리즘 선택에 대한 증거 기반 권고를 제공하기 위해.
• 차원 감소 기법(MDS, UMAP)이 군집 분리도 및 검정력 향상에 미치는 영향을 평가하기 위해.

제안 방법

• 통제된 하위군 크기, 분리도(Δ), 공분산 구조를 가진 다변량 정규 분포 시뮬레이션 데이터셋.
• 세 가지 차원 감소 기법 적용: 미적용, 다차원 척도법(MDS), UMAP.
• 여섯 가지 군집 알고리즘 평가: k-means, Ward 또는 평균 연결법을 사용한 계층적 군집 분석, 유클리드 또는 코사인 거리.
• 분석을 확장하여 퍼지 c-means 및 유한 혼합 모델(잠재 프로파일 및 클래스 분석) 포함.
• 통계적 검정력을 진짜 하위군 수를 올바르게 식별한 시뮬레이션 비율로 측정.
• 군집 정확도 평가에 수신기 작동 특성(ROC) 및 조정된 랜드 지수(ARI) 사용.

실험 결과

연구 질문

• RQ1 생물의학 데이터의 군집 분석에서 충분한 통계적 검정력을 확보하기 위해 필요한 표본 크기는 얼마인가?
• RQ2 군집 분리도(효과 크기 Δ)는 진짜 하위군을 탐지할 능력에 어떻게 영향을 미치는가?
• RQ3 k-means, c-means, 유한 혼합 모델 등 다양한 군집 알고리즘 간의 검정력 및 정확도는 어떻게 비교되는가?
• RQ4 MDS 또는 UMAP와 같은 차원 감소 기법이 군집 탐지 검정력 향상에 얼마나 기여하는가?
• RQ5 다양한 공분산 구조는 군집 분석 성능에 어떻게 영향을 미치는가?

주요 결과

• 통계적 검정력은 주로 큰 효과 크기(Δ=4) 또는 특성 간 다수의 작은 효과가 누적될 경우에 의해 주도되었다.
• 군집 분리도가 클 경우(Δ=4) 하위군당 N=20로도 충분한 검정력을 확보할 수 있었다.
• 중간 정도의 분리도(Δ=3)를 가진 다변량 정규 분포에 대해서는 퍼지 클러스터링(c-means)이 k-means보다 높은 검정력과 더 높은 단순성(파라미터 수의 절감)을 보였다.
• 부분적으로 겹치는 분포에 대해서는 유한 혼합 모델링 접근 방식(잠재 프로파일 및 클래스 분석)이 k-means보다 더 높은 검정력과 효율성을 보였다.
• 모든 시뮬레이션 조건에서 공분산 구조는 군집 분석의 검정력이나 정확도에 유의미한 영향을 미치지 않았다.
• MDS를 통한 차원 감소는 군집 분리도를 향상시키고 검정력을 향상시켰으며, 특히 퍼지 모델이나 혼합 모델과 조합했을 때 두드러진 효과를 보였다.