[논문 리뷰] Variable selection for mixed data clustering: a model-based approach

Matthieu Marbac, Mohammed Sedki|arXiv (Cornell University)|2017. 03. 07.

Bayesian Methods and Mixture Models참고 문헌 36인용 수 6

한 줄 요약

이 논문은 혼합 데이터 클러스터링에서 변수 선택을 위한 두 가지 모델 기반 접근법을 제안한다: 하나는 수정된 EM 알고리즘을 통해 베이지안 정보 기준(BIC)을 최적화하고, 다른 하나는 번갈아가며 최적화하여 최대 통합 완전 데이터 우도(MICL)를 최대화한다. 두 방법 모두 모델 비교를 위한 계산 비용이 큰 최대우도추정(MLE)을 피하고 표준 단계별 선택보다 뛰어난 성능을 보이며, 특히 MICL은 점근적 근사가 없는 정확한 공식화 덕분에 소표본 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

We propose two approaches for selecting variables in latent class analysis (i.e.,mixture model assuming within component independence), which is the common model-based clustering method for mixed data. The first approach consists in optimizing the BIC with a modified version of the EM algorithm. This approach simultaneously performs both model selection and parameter inference. The second approach consists in maximizing the MICL, which considers the clustering task, with an algorithm of alternate optimization. This approach performs model selection without requiring the maximum likelihood estimates for model comparison, then parameter inference is done for the unique selected model. Thus, the benefits of both approaches is to avoid the computation of the maximum likelihood estimates for each model comparison. Moreover, they also avoid the use of the standard algorithms for variable selection which are often suboptimal (e.g. stepwise method) and computationally expensive. The case of data with missing values is also discussed. The interest of both proposed criteria is shown on simulated and real data.

연구 동기 및 목표

• 혼합 데이터 클러스터링에서 관련 변수를 선택하는 데 도전하는 것. 여기서 관련이 없거나 중복된 변수는 모델 정확도와 해석 가능성에 악영향을 미친다.
• 각 모델 비교를 위한 반복적인 최대우도추정 계산의 높은 계산 비용을 피하는 효율적인 변수 선택 방법을 개발하는 것.
• 혼합형 데이터에서 서로 다른 클러스터를 가장 잘 특징짓는 변수의 부분집합을 식별하여 클러스터링 성능 향상과 해석 가능성 향상을 이루는 것.
• 결측치가 있는 데이터셋을 처리하여 실생활 응용에서 흔한 데이터 불완전성에 대비한 강건성을 확보하는 것.
• 정보 기준(BIC)과 클러스터링 중심 기준(MICL)의 변수 선택 성능를 비교하며, 특히 소표본 크기에서의 성능을 다루는 것.

제안 방법

• 첫 번째 방법은 BIC를 최대화함으로써 모델 선택과 매개변수 추정을 동시에 최적화하는 수정된 EM 알고리즘을 사용하며, 내부 구성 요소 간 독립성을 가정한다.
• 두 번째 방법은 번갈아가며 최적화하여 MICL 기준을 최대화하며, 이는 모델 적합도와 구성 요소 엔트로피 간 균형을 이룹니다. 이는 모델 비교를 위한 MLE가 필요 없이 효율적인 변수 선택을 가능하게 한다.
• 두 방법 모두 내부 구성 요소 간 독립성을 가정하여 매개변수 수를 줄이고 혼합형 데이터(연속형, 범주형, 정수형)의 가능도 계산을 단순화한다.
• MICL 기준은 공액 사전분포 하에 유도되어 닫힌 형태의 해를 허용하며, 점근적 근사가 없어 소표본에서 더 정확하다.
• 결측 데이터를 처리하기 위해 결측 데이터 메커니즘을 가능도 프레임워크에 통합함으로써 모델 일관성을 유지한다.
• 모델 선택은 철저한 MLE 계산 없이 수행되어 표준 단계별 또는 탐욕적 탐색 방법보다 계산 부담을 크게 줄였다.

실험 결과

연구 질문

• RQ1 혼합 데이터 클러스터링에서 변수 선택을 위한 모델 기반 접근법이 정확도와 계산 효율성 측면에서 전통적인 단계별 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 MICL 기준을 최대화하는 것이 BIC보다 더 나은 클러스터링 성능을 낼 수 있는가? 특히 BIC의 점근적 근사가 실패할 수 있는 소표본 설정에서 그렇다면?
• RQ3 결측치가 있는 실제 혼합형 데이터셋에 적용했을 때 변수 선택이 클러스터링 결과의 정확도와 해석 가능성에 어떤 영향을 미치는가?
• RQ4 제안된 방법들이 고차원, 소표본 크기 데이터셋에서 진짜 구성 요소 수와 관련 변수를 효과적으로 식별할 수 있는가?
• RQ5 내부 구성 요소 간 독립성 가정이 잘못 지정되거나 복잡한 데이터 구조에서 변수 선택 방법의 강건성과 성능에 어떤 영향을 미치는가?

주요 결과

• MICL 기반 방법은 Coffee 데이터셋에서 총 변수의 42%만 사용해도 Adjusted Rand Index(ARI)가 100%를 기록하여 변수 선택의 높은 효율성과 정확도를 입증했다.
• 83개 관측치, 3051개 변수를 가진 도전적인 Golub 데이터셋에서 BIC는 점근적 근사로 인해 성능이 악화되었지만, MICL은 두 개의 구성 요소를 정확히 식별하고 ARI 0.79를 달성하여 BIC의 0.32를 뛰어넘었다.
• Congress 및 Statlog-Heart 데이터셋에서는 MICL 선택이 ARI를 각각 0.47에서 0.47( Congress) 및 0.25에서 0.33(Statlog-Heart)로 향상시켜 클러스터링 품질 향상이 일관되게 관찰되었다.
• 소표본 크기 조건에서 MICL 방법은 항상 BIC를 능가했으며, 점근적 근사가 없는 정확한 기준이 그러한 조건에서 더 신뢰할 수 있음을 확인했다.
• 변수 선택은 변수 수를 줄여서 해석 가능성 향상에 기여했다. 예를 들어, MICL 하에서 Congres 데이터셋에서 16개 변수 중 2개만 선택되어 클러스터 특징을 단순화했다.
• 제안된 두 방법 모두 모델 비교 중 반복적인 최대우도추정 계산이 필요 없어 표준 탐욕적 또는 단계별 알고리즘 대비 계산 비용을 크게 감소시켰다.