[논문 리뷰] Statistical Significance for Hierarchical Clustering

Patrick K. Kimes, Yufeng Liu외 2명|arXiv (Cornell University)|2014. 11. 19.

Gene expression and cancer classification참고 문헌 2인용 수 28

한 줄 요약

이 논문은 고차원, 소표본 크기 설정에서 계층적 군집화의 가족별 오류율(FWER)을 통제하는 몬테카를로 기반 순차 가설 검정 절차인 통계적 유의성 계층 군집화(SHC)를 제안한다. 이는 계층 구조를 가진 덴드로그램의 중첩된 특성을 활용하여 각 병합 단계에서 군집의 유의성을 검정하며, 시뮬레이션과 실제 암 유전자 발현 데이터에서 진정된 군집화 구조를 탐지하는 데 뛰어난 검정력을 보여준다.

ABSTRACT

Cluster analysis has proved to be an invaluable tool for the exploratory and unsupervised analysis of high dimensional datasets. Among methods for clustering, hierarchical approaches have enjoyed substantial popularity in genomics and other fields for their ability to simultaneously uncover multiple layers of clustering structure. A critical and challenging question in cluster analysis is whether the identified clusters represent important underlying structure or are artifacts of natural sampling variation. Few approaches have been proposed for addressing this problem in the context of hierarchical clustering, for which the problem is further complicated by the natural tree structure of the partition, and the multiplicity of tests required to parse the layers of nested clusters. In this paper, we propose a Monte Carlo based approach for testing statistical significance in hierarchical clustering which addresses these issues. The approach is implemented as a sequential testing procedure guaranteeing control of the family-wise error rate. Theoretical justification is provided for our approach, and its power to detect true clustering structure is illustrated through several simulation studies and applications to two cancer gene expression datasets.

연구 동기 및 목표

• 계층 군집화에서 표본 오차에 의한 결과와 생물학적으로 의미 있는 군집화 구조를 구분하는 데 있어 핵심적인 과제를 해결하기 위해.
• 계층 군집화에 내재된 중첩적이고 순서가 있는 다중 검정의 특성에도 불구하고 가족별 오류율(FWER)을 통제하는 방법을 개발하기 위해.
• 기존 방법이 실패하는 고차원·소표본(HDLSS) 설정에서 통계적 유의성 검정을 가능하게 하기 위해.
• 계층 트리의 구조를 존중하면서도 임의의 군집 컷오프를 피하는 순차 검정 프레임워크를 제공하기 위해.
• 연구자들이 관측된 군집이 우연의 산물인지 통계적으로 유의한지 평가할 수 있도록 실용적이고 R로 구현된 솔루션을 제공하기 위해.

제안 방법

• 계층 군집화 덴드로그램의 각 병합 단계에서의 유의성을 평가하는 몬테카를로 기반 순차 가설 검정 절차를 제안한다.
• 각 병합에 대해, 병합되는 두 군집이 유의미하게 다를 바가 없다는 귀무가설을 검정하며, 그 대립가설은 이들이 진정한 기저 군집화 구조를 반영한다는 것이다.
• 관측된 군집 간 거리와 재표본화를 통해 생성된 귀무분포 하에서의 거리를 비교하기 위해 링크리지 기반 검정통계량(가중 평균 거리)을 사용한다.
• 계층의 각 단계에서 유의수준 임계치를 조정하는 순차 정지 규칙을 통해 가족별 오류율(FWER)을 통제한다.
• 수치적 수렴이 이루어지는 HDLSS 설정 하에서 渐近 이론을 활용하여 방법의 타당성을 정당화한다.
• 각 병합에 대한 실증적 p-값을 확보하기 위해 귀무가설 하에서 데이터를 순열하는 재표본화 기법을 적용하여 고차원 환경에서도 강인성을 확보한다.

실험 결과

연구 질문

• RQ1 계층 군집화 결과의 중첩적이고 트리 구조적인 특성을 고려하여 군집의 유의성을 평가할 수 있는 통계적 검정을 개발할 수 있는가?
• RQ2 덴드로그램의 병합 계층에서 다중이고 종속적인 검정을 수행할 때 가족별 오류율(FWER)을 어떻게 통제할 수 있는가?
• RQ3 제안된 방법은 고차원·소표본(HDLSS) 게놈 데이터셋에서 진정된 군집화 구조를 탐지하는 데 효과적인가?
• RQ4 pvclust와 SigClust와 같은 기존 방법들과 비교해 볼 때, 이 방법은 HDLSS 설정에서 검정력과 적용 가능성 면에서 어떻게 다른가?
• RQ5 특징 수 p → ∞ 조건에서 이론적으로 이 방법을 정당화할 수 있는가?

주요 결과

• SHC 방법은 고차원 설정에서도 계층적 검정 시퀀스 전반에 걸쳐 가족별 오류율(FWER)을 효과적으로 통제한다.
• 이론적 정당화에 따르면, HDLSS 渐近 설정 하에서 각 병합에 대한 실증적 p-값은 대립가설 하에서 0으로 수렴함을 보여, 검정의 타당성을 보장한다.
• 시뮬레이션 연구에서 SHC는 적절한 제1종 오류 통제를 유지하며, 특히 군집 간 분리가 뚜렷할 경우 진정된 군집화 구조를 탐지하는 데 높은 검정력을 보였다.
• 두 개의 실제 암 유전자 발현 데이터셋에 적용한 결과, SHC는 알려진 임상적 하위형과 일치하는 생물학적으로 의미 있는 하위형을 탐지했으며, 히وري스틱 군집 선택 방법보다 뛰어난 성능을 보였다.
• 이 방법은 HDLSS 설정에서도 강인하며, pvclust와 같이 차원이 낮을 경우 실패하는 일부 대안들과 달리 계산적으로 실현 가능하다.
• 순차 검정 절차는 원칙적인 정지 기준을 제공하여 연구자들이 임의의 컷오프 없이 가장 통계적으로 유의미한 군집 수준을 식별할 수 있도록 한다.