[논문 리뷰] ClustOfVar: An R Package for the Clustering of Variables

Marie Chavent, Vanessa Kuentz외 2명|arXiv (Cornell University)|2011. 12. 01.

Advanced Clustering Algorithms Research인용 수 45

한 줄 요약

이 논문은 혼합형 변수(정량형 및 정성형)를 PCAMIX에서 유도된 인공 변수에 대한 상관비와 상관계수의 제곱을 기반으로 한 균일성 기준을 사용하여 군집화할 수 있는 R 패키지 ClustOfVar를 소개한다. 이 방법은 계층적 및 k-means 유형 군집화를 모두 지원하며, 부트스트랩을 통한 안정성 평가를 제공하여 주성분 분석의 해석 가능성 유지 및 빈도 데이터 처리를 위한 단순 대체법을 제공한다.

ABSTRACT

Clustering of variables is as a way to arrange variables into homogeneous clusters, i.e., groups of variables which are strongly related to each other and thus bring the same information. These approaches can then be useful for dimension reduction and variable selection. Several specific methods have been developed for the clustering of numerical variables. However concerning qualitative variables or mixtures of quantitative and qualitative variables, far fewer methods have been proposed. The R package ClustOfVar was specifically developed for this purpose. The homogeneity criterion of a cluster is defined as the sum of correlation ratios (for qualitative variables) and squared correlations (for quantitative variables) to a synthetic quantitative variable, summarizing "as good as possible" the variables in the cluster. This synthetic variable is the first principal component obtained with the PCAMIX method. Two algorithms for the clustering of variables are proposed: iterative relocation algorithm and ascendant hierarchical clustering. We also propose a bootstrap approach in order to determine suitable numbers of clusters. We illustrate the methodologies and the associated package on small datasets.

연구 동기 및 목표

• 기존 방법이 제한되어 있는 혼합형 변수(정량형 및 정성형)에 대해 통합된 R 패키지를 개발하는 것.
• 특히 정성형 또는 혼합형 변수 집합에 대해 전용 R 도구가 부족한 문제를 해결하는 것.
• 원래 데이터를 군집에서 유도된 인공 변수로 대체하는 차원 축소 접근법을 제공하여 해석 가능성 향상과 중복 감소를 도모하는 것.
• 계층적 및 k-means 유형 알고리즘을 제공하고, 부트스트랩을 통한 안정성 평가를 통해 최적의 군집 수 선정을 안내하는 것.
• 정량형 변수는 평균, 정성형 변수는 지표 행렬에서 0으로 단순 대체하여 결측치를 처리하면서도 사용성 유지하는 것.

제안 방법

• 군집의 균일성은 정량형 변수의 제곱 상관계수 합과 정성형 변수의 상관계수 비율 합으로 측정되며, 이는 인공 정량형 변수와의 관계를 기반으로 한다.
• 인공 변수는 혼합형 데이터에 대한 주성분 분석 방법인 PCAMIX의 첫 번째 주성분으로 정의된다.
• 두 가지 알고리즘이 구현되어 있다: 반복 이동 기반의 k-means 유형 알고리즘(kmeansvar)과 적대적 계층 군집화 알고리즘(hclustvar).
• 알고리즘은 군집 내 변수들이 그 군집의 인공 변수와 얼마나 잘 상관관계를 가지는지를 반영하는 균일성 기준을 최대화한다.
• 부트스트랩 샘플링을 사용하여 군집의 안정성을 평가하고 최적의 군집 수 선정을 안내한다.
• 결측치는 정량형 변수는 평균으로, 정성형 변수는 지표 행렬에서 0으로 대체하여 처리한다.

실험 결과

연구 질문

• RQ1 혼합형 데이터(정량형 및 정성형 변수)에 대해 변수 군집화를 효과적으로 적용할 수 있는 방법은 무엇이며, 이는 해석 가능성과 중복 탐지 기능을 유지하는가?
• RQ2 혼합형 데이터 환경에서 계층적 군집화와 k-means 유형 군집화 알고리즘의 상대적 성능은 어떻게 다른가?
• RQ3 PCAMIX에서 유도된 인공 변수는 변수 군집의 신뢰할 수 있고 해석 가능한 요약으로 기능할 수 있는가?
• RQ4 혼합형 데이터에서 변수 군집화의 경우 군집 수는 어떻게 객관적으로 결정할 수 있는가?
• RQ5 패키지는 군집 품질에 영향을 주지 않으면서 결측치를 얼마나 잘 처리하는가?

주요 결과

• 와인 데이터셋에서 계층 군집화 알고리즘(hclustvar)은 10회 랜덤 시작을 가진 k-means 유형 알고리즘(kmeansvar)보다 높은 균일성 기준(56.84)을 달성하였다(51.02).
• 와인 데이터셋(n=21, p=31)에서 계층 방법은 'Soil'(상관계수 비율 ≈ 0.78)과 'Odor.Intensity'(제곱 적재량 ≈ 0.76)를 포함한 군집을 식별하여 인공 변수와의 강한 연관성을 보였다.
• ClustOfVar의 군집에서 유도된 인공 변수는 원래 혼합형 데이터 행렬의 정량적 대체로 사용될 수 있으며, 주성분 분석과 유사한 후속 분석을 가능하게 한다.
• k-means 유형 알고리즘(kmeansvar)은 대규모 데이터셋에서 hclustvar보다 빠르지만, 평균적으로 낮은 균일성 수준을 보였다.
• 부트스트랩 샘플링을 통해 안정성 평가 및 군집 수 선정이 성공적으로 수행되어 신뢰할 수 있는 해석을 뒷받침하였다.
• 패키지는 단순 대체를 통해 결측치를 처리하지만, 고비율의 결측치가 존재할 경우 성능 저하가 발생할 수 있으므로 전처리 단계에서 전용 대체 패키지 사용이 바람직하다.