[논문 리뷰] Comparing Model Selection and Regularization Approaches to Variable Selection in Model-Based Clustering

Gilles Celeux, Marie‐Laure Martin‐Magniette외 2명|arXiv (Cornell University)|2013. 07. 30.

Bayesian Methods and Mixture Models인용 수 29

한 줄 요약

이 논문은 모형 기반 군집화에서 변수 선택을 위한 모형 선택(RD-MCM)과 정규화(SparseKmeans) 접근법을 비교한다. 시뮬레이션과 실제 데이터를 사용하여, 특히 군집 내 변수 간 상관관계가 있는 경우, 모형 선택이 분류 정확도 및 변수 선택 정확도에서 정규화보다 유의미하게 뛰어나며, 군집 수 추정 및 모형 유연성 측면에서도 우수한 성능을 보인다.

ABSTRACT

We compare two major approaches to variable selection in clustering: model selection and regularization. Based on previous results, we select the method of Maugis et al. (2009b), which modified the method of Raftery and Dean (2006), as a current state of the art model selection method. We select the method of Witten and Tibshirani (2010) as a current state of the art regularization method. We compared the methods by simulation in terms of their accuracy in both classification and variable selection. In the first simulation experiment all the variables were conditionally independent given cluster membership. We found that variable selection (of either kind) yielded substantial gains in classification accuracy when the clusters were well separated, but few gains when the clusters were close together. We found that the two variable selection methods had comparable classification accuracy, but that the model selection approach had substantially better accuracy in selecting variables. In our second simulation experiment, there were correlations among the variables given the cluster memberships. We found that the model selection approach was substantially more accurate in terms of both classification and variable selection than the regularization approach, and that both gave more accurate classifications than $K$-means without variable selection.

연구 동기 및 목표

• 모형 기반 군집화에서 모형 선택 및 정규화 접근법의 변수 선택 성능을 평가하고 비교하는 것.
• 다양한 데이터 조건 하에서 모형 선택 또는 정규화 중 어느 것이 더 정확한 군집화 및 변수 선택을 제공하는지 규명하는 것.
• 다양한 시뮬레이션 설정 및 실제 데이터셋에서 각 방법의 강건성과 안정성 평가.
• 군집 내 변수 상관관계가 방법 성능에 미치는 영향 분석.
• 각 방법이 올바른 군집 수를 선택하고 고차원 데이터를 효과적으로 처리할 수 있는지 평가하는 것.

제안 방법

• 모형 선택 접근법인 RD-MCM 방법을 사용하며, 이는 Raftery와 Dean(2006)의 접근법을 수정하여 관련 변수와 무관한 변수가 서로 독립이 되도록 허용함으로써 모형의 단순성과 현실성 향상.
• 정규화 기반 접근법인 Witten과 Tibshirani(2010)의 SparseKmeans 방법을 사용하며, 이는 적재량을 0으로 수축시켜 변수 선택을 수행.
• 조건부 독립 변수와 군집 소속 조건 하에서 상관관계가 있는 변수를 가진 시뮬레이션 데이터에 두 방법 모두 적용.
• 분류 정확도 평가에 조정된 Rand 지수(ARI)를, 변수 선택 정확도 평가에 진정 양성률을 사용.
• 기본 비교 기준으로 변수 선택이 없는 K-means 군집화를 사용.
• 실제 데이터셋(파형 데이터셋 및 28개 유전자를 가진 전사체 유전자 발현 데이터셋)을 활용하여 결과를 검증하며, ARI 및 군집 안정성 지표를 사용.

실험 결과

연구 질문

• RQ1 변수가 조건부 독립일 경우, 모형 선택과 정규화 접근법의 분류 정확도는 어떻게 비교되는가?
• RQ2 군집 내 변수 상관관계가 모형 선택과 정규화의 군집화 성능에 어떻게 영향을 미치는가?
• RQ3 실제 데이터 구조를 반영할 때, RD-MCM 또는 SparseKmeans 중 어느 방법이 더 뛰어난 변수 선택 정확도를 보이는가?
• RQ4 모형 선택 접근법은 군집 수를 신뢰성 있게 추정할 수 있는가? 반면 정규화 접근법은 이를 입력으로 요구한다.
• RQ5 각 방법의 군집 결과는 다양한 초기화 및 튜닝 파라미터 설정에서 얼마나 안정적인가?

주요 결과

• 변수가 조건부 독립일 경우, 두 변수 선택 방법 모두 K-means에 비해 분류 정확도를 향상시켰으며, 특히 군집이 잘 분리된 경우에 두드러졌다.
• 모형 선택 접근법(RD-MCM)은 정규화 접근법(SparseKmeans)보다 유의미하게 높은 변수 선택 정확도를 달성했으며, 이는 분류 성능는 유사했음에도 불구하고.
• 군집 내 변수 상관관계가 존재할 경우, 모형 선택 접근법은 분류 정확도 및 변수 선택 정확도에서 정규화 접근법을 상당히 뛰어넘었다.
• 두 변수 선택 방법 모두 K-means에 비해 더 정확한 분류를 제공했지만, 모형 선택 방법이 항상 우월했다.
• SparseKmeans 방법은 튜닝 파rameter에 매우 민감하여 다양한 실행에서 결과가 불안정했다.
• RD-MCM 방법은 더 안정된 분할을 생성했으며, VEE 모형을 사용할 경우 ARI가 0.578로 높았고, SparseKmeans와 K-means 간 ARI가 0.349로 낮아지며 이를 뒷받침했다.