[논문 리뷰] High-dimensional cluster analysis with the Masked EM Algorithm

Shabnam Kadir, Dan F. M. Goodman외 1명|arXiv (Cornell University)|2013. 09. 11.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 14

한 줄 요약

이 논문은 각 데이터 포인트마다 일부 특징만 유informative한 고차원 클러스터 분석을 위한 마스크된 EM 알고리즘을 제안한다. 각 데이터 포인트에 대해 특징에 실수 마스크를 할당하고, 관측되지 않은 특징을 하위임계 분포로 모델링함으로써, 계산 비용을 감소시키고 과적합을 방지하며, 스파이크 정렬 응용에서 이론적 최적에 가까운 성능을 달성한다.

ABSTRACT

Cluster analysis faces two problems in high dimensions: first, the `curse of dimensionality' that can lead to overfitting and poor generalization performance; and second, the sheer time taken for conventional algorithms to process large amounts of high-dimensional data. In many applications, only a small subset of features provide information about the cluster membership of any one data point, however this informative feature subset may not be the same for all data points. Here we introduce a `Masked EM' algorithm for fitting mixture of Gaussians models in such cases. We show that the algorithm performs close to optimally on simulated Gaussian data, and in an application of `spike sorting' of high channel-count neuronal recordings.

연구 동기 및 목표

• 각 데이터 포인트에 대해 대부분의 특징이 정보가 없는 고차원 클러스터 분석에서 차원의 귀환 문제를 해결한다.
• 크게 확장된 특징 공간을 가진 고차원 환경에서 기존 EM 알고리즘의 계산 비용이 과도한 문제를 해결한다.
• 전역적 특징 선택을 적용하는 대신, 각 데이터 포인트에 맞는 특징 중요도 적응 전략을 개발한다.
• 특히 신경생리학적 스파이크 정렬에서 수백만 개의 고차원 데이터 포인트를 신속하고 확장 가능한 방식으로 클러스터링할 수 있도록 한다.
• 임계값 설정으로 인한 인위적 클러스터 분할을 방지하기 위해 부드럽고 실수값 마스크 및 가상의 하위임계 분포를 사용한다.

제안 방법

• 알고리즘은 두 단계로 구성된다: 첫 번째 단계에서 히우리스틱 기반으로 각 데이터 포인트에 대해 특징의 상대적 중요도를 나타내는 마스크 벡터를 계산한다.
• 마스크 값은 실수값이며, 도메인 특화 지식(예: 전극 간 신경 스파이크 탐지의 공간 연속성)에서 유도된다.
• EM 단계에서는 각 데이터 포인트가 가상 혼합으로 모델링된다: 관측된 특징 값은 마스크로 가중된 하위임계 노이즈 분포와 결합된다.
• 가상 혼합에 대한 기대값은 수치적으로 계산되며, 샘플링을 피하고 효율적인 계산을 가능하게 한다.
• 클러스터 할당은 마스크된 가상 데이터 표현을 사용하여 EM 알고리즘으로 업데이트되며, 각 클러스터별 공분산 행렬이 추정된다.
• 이 방법은 총 특징 수가 아니라 각 포인트에서 마스크 해제된 특징 수에 따라 확장되며, 파rameter 수와 런타임 모두 감소시킨다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 각 데이터 포인트에 대해 정보가 있는 특징의 비율이 작을 경우, 클러스터 분석을 어떻게 계산적으로 가능하게 할 수 있는가?
• RQ2 전역적 특징 선택보다 데이터 포인트별 특징 가중치 전략이 고차원 클러스터링에서 더 우수한 성능을 낼 수 있는가?
• RQ3 마스크된 특징에 대해 가상의 하위임계 분포를 사용함으로써, 임계값 설정으로 인한 인위적 클러스터 분할을 방지할 수 있는가?
• RQ4 마스크된 EM 알고리즘이 고차원 스파이크 정렬에서 이론적 최적에 가까운 성능을 달성할 수 있는가?
• RQ5 실제 신경생리학적 기록에서 노이즈와 겹치는 스파이크에 대해 알고리즘이 강인한가?

주요 결과

• 마스크된 EM 알고리즘은 하이브리드 스파이크 데이터에 대해 SVM 기반 교차 검증을 통해 이론적 최상한 성능에 매우 가까운 성능을 달성한다.
• 전통적 EM은 고차원 환경(96개 특징)에서는 실패하지만, 하이브리드 스파이크 당 9개의 마스크 해제 특징으로 제한된 경우 이론적 최상한 성능에 근접하게 작동한다.
• 마스크된 EM은 96차원 데이터에서도 높은 정확도를 유지하며, 차원의 귀환 문제에 대한 강인성을 입증한다.
• 임계값 설정으로 인한 인위적 클러스터 분할은 관측되지 않았으며, 실수값 마스크와 가상의 하위임계 분포 덕분에 책임 값 업데이트가 부드럽게 이루어지기 때문이다.
• 이 방법은 효율적으로 확장되며, 계산 비용과 파라미터 수가 총 특징 수가 아니라 각 데이터 포인트에서 마스크 해제된 특징 수에 따라 결정된다.
• 실제 하이브리드 스파이크 데이터에서의 성능 평가 결과, 알고리즘이 겹치는 스파이크와 누락된 데이터를 효과적으로 처리하며, 오진 탐지율과 참 양성률 모두에서 전통적 EM보다 뛰어난 성능을 보였다.