[논문 리뷰] Clustering with feature selection using alternating minimization, Application to computational biology

Cyprien Gilet, Marie Deprez외 2명|arXiv (Cornell University)|2017. 11. 08.

Sparse and Compressive Sensing Techniques참고 문헌 52인용 수 10

한 줄 요약

이 논문은 ℓ¹-제약 투영-기울기 최적화를 통해 희소성 조건을 부여함으로써 고차원 데이터에서 클러스터링과 특성 선택을 동시에 수행하는 k-sparse라는 교대 최소화 알고리즘을 제안한다. 단일세포 RNA-seq 데이터셋에서 PCA-k-means, 스펙트럴 클러스터링, SIMLR, Sparcl보다 뛰어난 성능을 보이며 최대 100%의 정확도와 5–10배 빠른 런타임을 기록했고, 샘플 수에 대해 선형 확장성을 유지한다.

ABSTRACT

This paper deals with unsupervised clustering with feature selection. The problem is to estimate both labels and a sparse projection matrix of weights. To address this combinatorial non-convex problem maintaining a strict control on the sparsity of the matrix of weights, we propose an alternating minimization of the Frobenius norm criterion. We provide a new efficient algorithm named K-sparse which alternates k-means with projection-gradient minimization. The projection-gradient step is a method of splitting type, with exact projection on the $\ell^1$ ball to promote sparsity. The convergence of the gradient-projection step is addressed, and a preliminary analysis of the alternating minimization is made. The Frobenius norm criterion converges as the number of iterates in Algorithm K-sparse goes to infinity. Experiments on Single Cell RNA sequencing datasets show that our method significantly improves the results of PCA k-means, spectral clustering, SIMLR, and Sparcl methods, and achieves a relevant selection of genes. The complexity of K-sparse is linear in the number of samples (cells), so that the method scales up to large datasets.

연구 동기 및 목표

• 차원의 저주 문제를 해결하기 위해 특성 선택을 클러스터링 과정 자체에 직접 통합함으로써 비지도 클러스터링의 성능을 향상시키는 것.
• 라그랑주 매개변수 조정에 의존하지 않고도 투영 행렬의 희소성에 엄격한 제어를 유지하는 것.
• 대규모 단일세포 게놈 데이터셋에 적합한 확장성 있고 효율적인 알고리즘 개발.
• ℓ¹ 정규화를 통한 생물학적으로 관련된 특성(예: 유전자) 선택을 통해 클러스터링 정확도와 해석 가능성 향상.

제안 방법

• 알고리즘은 투영된 데이터에서 k-means 클러스터링을 수행하고, 희소 투영 행렬 W를 최적화하기 위해 투영-기울기 단계를 번갈아가며 수행한다.
• 투영-기울기 단계는 정확한 ℓ¹ 구에 대한 투영을 통해 ℓ¹ 희소성 조건을 강제로 구현함으로써 선택된 특성 수를 제어한다.
• 클러스터 소속성(Y), 비어 있지 않은 클러스터, W의 ℓ¹ 노름 ≤ η에 대한 제약 조건 하에 프로베니우스 노름 기준을 최소화한다.
• 정확한 투영을 사용하는 분할 유형 최적화 기법을 통해 희소성을 유지하고 기울기-투영 하위문제의 수렴성을 보장한다.
• 샘플 수에 대해 선형 확장성을 갖도록 설계되었으며, 반복 과정에서 희소성 증가에 따라 희소 행렬 연산을 활용한다.
• 차원 감소와 특성 선택을 하나의 최적화 루프 내에서 통합하여 PCA와 같은 별도의 사전 처리 단계를 회피한다.

실험 결과

연구 질문

• RQ1 ℓ¹-제약 투영을 적용한 교대 최소화가 고차원 단일세포 RNA-seq 데이터에서 클러스터링 정확도 향상에 기여하는가?
• RQ2 라그랑주 매개변수 조정에 의존하지 않고 ℓ¹ 희소성에 명시적인 제어를 부여함으로써, 기존 방법보다 더 나은 특성 선택과 해석 가능성 확보가 가능한가?
• RQ3 실제 생물학적 데이터셋에서 SIMLR, Sparcl, PCA-k-means와 같은 기존 방법과 비교해 본다면, 제안된 k-sparse 알고리즘이 정확도와 런타임 측면에서 어떤가?
• RQ4 대규모 데이터셋에서도 효율적으로 확장되면서도 고성능 클러스터링 성능 유지를 할 수 있는가?

주요 결과

• Klein 데이터셋(2,717개 세포, 10,322개 유전자, 4개 클러스터)에서 k-sparse는 99.33% 정확도, 98.77% ARI, 0.97 NMI를 기록했으며, SIMLR와 Sparcl를 능가하고 런타임은 5배 빠르게 구현했다.
• Zeisel 데이터셋(3,005개 세포, 7,364개 유전자, 9개 클러스터)에서 k-sparse는 83.26% 정확도와 75.06% ARI를 달성했으며, SIMLR보다 정확도 11%p, ARI 20%p 향상되었다.
• η = 20,000일 때, k-sparse는 Klein 데이터셋에서 단지 4,599개 유전자만 선택하여 매우 높은 희소성과 효과적인 특성 선택을 입증했다.
• Klein 데이터셋에서 k-sparse는 SIMLR 대비 8배 빠르고, Zeisel 데이터셋에서는 10배 빠르며, Large SIMLR보다 훨씬 뛰어난 클러스터링 품질을 보였다.
• t-SNE 시각화 결과, k-sparse는 밀도 있고 잘 분리된 클러스터를 생성하는 반면, SIMLR와 Sparcl는 Usoskin 데이터셋에서 한 클러스터를 회복하지 못했다.
• 알고리즘은 약 10회 반복 내에 수렴하며, 샘플 수에 대해 선형 복잡도를 가지므로 대규모 단일세포 게놈 응용 분야에 대한 확장성 확보가 가능하다.