[논문 리뷰] Discriminative variable selection for clustering with the sparse Fisher-EM algorithm

Charles Bouveyron, Camille Brunet|arXiv (Cornell University)|2012. 04. 10.

Bayesian Methods and Mixture Models인용 수 8

한 줄 요약

이 논문은 ℓ₁-벌점된 희박성(스패arsity)을 피셔-EM 프레임워크에 통합하여 군집화에서 분류적 변수 선택을 위한 새로운 방법인 희박한 피셔-EM 알고리즘을 제안한다. 이는 고차원 데이터에서 군집을 가장 잘 구분하는 작고 의미 있는 변수의 부분집합을 효율적으로 식별하며, 기존 방법들보다 빠른 속도와 더 높은 희박성 성능를 기록한다. 또한 해석 가능한 저차원 시각화를 가능하게 하고, 화성 고분광 영상 분할에 성공적으로 적용된다.

ABSTRACT

The interest in variable selection for clustering has increased recently due to the growing need in clustering high-dimensional data. Variable selection allows in particular to ease both the clustering and the interpretation of the results. Existing approaches have demonstrated the efficiency of variable selection for clustering but turn out to be either very time consuming or not sparse enough in high-dimensional spaces. This work proposes to perform a selection of the discriminative variables by introducing sparsity in the loading matrix of the Fisher-EM algorithm. This clustering method has been recently proposed for the simultaneous visualization and clustering of high-dimensional data. It is based on a latent mixture model which fits the data into a low-dimensional discriminative subspace. Three different approaches are proposed in this work to introduce sparsity in the orientation matrix of the discriminative subspace through $\ell_{1}$-type penalizations. Experimental comparisons with existing approaches on simulated and real-world data sets demonstrate the interest of the proposed methodology. An application to the segmentation of hyperspectral images of the planet Mars is also presented.

연구 동기 및 목표

• 대부분의 변수가 관련이 없는 고차원 데이터 군집화 문제에 대비하여, 성능 저하와 해석 가능성 감소를 방지한다.
• 베이지안 접근법은 너무 느리고, 페널라이즈드 우도 방법은 너무 희박하지 않은 기존의 변수 선택 방법의 한계를 극복한다.
• 저차원 잠재 부분공간에서 분류적 특징을 식별함으로써, 동시에 차원 감소와 변수 선택을 수행하는 군집화 방법을 개발한다.
• 군집화 정확도를 유지하거나 향상시키면서도, 고차원 군집화에서 계산 효율성과 희박성 제어를 향상시킨다.

제안 방법

• 피셔-EM 알고리즘의 로딩 행렬에 ℓ₁형 벌점화를 도입하여 분류적 부분공간 투영에서 희박성을 유도한다.
• ℓ₁-벌점 최적화 기반의 세 가지 서로 다른 희박성 유도 전략을 제안하여 선택된 변수의 수를 제어한다.
• F단계에서 희박성 제약 조건 하에 제약된 피셔 기준을 최대화함으로써 분류적 부분공간 투영 행렬을 추정하는 EM 유사 반복 절차를 사용한다.
• 모델 적합도와 복잡도의 균형을 이루기 위해, 페널라이즈드 BIC 기준을 사용하여 최적의 희박성 수준을 선택한다.
• 변수 선택을 군집화 과정에 직접 통합하여 별도의 특징 선택 단계를 회피한다.
• 가장 정보가 많은 변수를 반영하는 저차원의 분류적 공간에서 군집의 시각화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 ℓ₁-벌점된 정규화가 피셔-EM 알고리즘의 로딩 행렬에 효과적으로 희박성을 유도하여 가장 분류적 변수들만 선택할 수 있는가?
• RQ2 기존의 변수 선택 방법과 비교할 때, 희박한 피셔-EM 알고리즘의 군집 정확도와 희박성 성능는 어떠한가?
• RQ3 기존 방법이 비가역적인 고차원 환경에서, 제안된 방법은 계산 효율성을 유지하는가?
• RQ4 선택된 변수들이 고분광 영상 분석과 같은 실제 응용에서 의미 있는 해석이 가능한가?
• RQ5 모델 기반 군집화에 희박성을 적용할 때, 페널라이즈드 BIC 기준이 최적의 희박성 수준을 효과적으로 선택할 수 있는가?

주요 결과

• 희박한 FEM 알고리즘은 기존의 Clustvarsel, Selvarclust, 또는 희박한-kmeans와 비교해 중간 수준의 변수를 선택함으로써 희박성과 군집 성능 사이의 균형을 이룬다.
• 베이지안 변수 선택 접근법에 비해 계산 시간을 크게 줄여 고차원 데이터에 대해 실용 가능하게 한다.
• 화성 고분광 영상 데이터셋에서, 희박한 FEM은 256개의 파장 중 8개의 분류적 파장을 사용하여 전문가 기반 분할과 60.30%의 일치도를 달성했다.
• 선택된 8개의 파장은 매우 정보가 많았으며, 각 추가적인 변수가 점차 더 구체적인 광물 클래스의 조합 간 구분을 향상시켰다.
• 결과적으로 향후 데이터 수집은 픽셀당 수십 초에서 선택된 8개의 파장을 측정함으로써 1초 이내로 단축시킬 수 있다.
• 이 방법은 행 星표면 데이터에서 다양한 광물학적 클래스를 구분하는 물리적으로 의미 있는 스펙트럼 대역을 성공적으로 식별했다.