[논문 리뷰] Robust Discriminative Clustering with Sparse Regularizers

Nicolas Flammarion, Balamurugan Palaniappan외 1명|arXiv (Cornell University)|2016. 08. 29.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 8

한 줄 요약

이 논문은 볼록 최적화를 통해 차원 축소와 클러스터링을 동시에 수행하는 강건하고 희소 정규화가 적용된 분류적 클러스터링 프레임워크를 제안한다. 이는 이론적 보장이 있는 새로운 희소 확장을 도입하고, $O(nd^2)$의 효율적인 알고리즘을 제공하며, 관련이 없는 특징이 많은 고차원 설정에서 비희소 및 교대 방법보다 클러스터 복원 성능이 뛰어나다.

ABSTRACT

Clustering high-dimensional data often requires some form of dimensionality reduction, where clustered variables are separated from "noise-looking" variables. We cast this problem as finding a low-dimensional projection of the data which is well-clustered. This yields a one-dimensional projection in the simplest situation with two clusters, and extends naturally to a multi-label scenario for more than two clusters. In this paper, (a) we first show that this joint clustering and dimension reduction formulation is equivalent to previously proposed discriminative clustering frameworks, thus leading to convex relaxations of the problem, (b) we propose a novel sparse extension, which is still cast as a convex relaxation and allows estimation in higher dimensions, (c) we propose a natural extension for the multi-label scenario, (d) we provide a new theoretical analysis of the performance of these formulations with a simple probabilistic model, leading to scalings over the form $d=O(\sqrt{n})$ for the affine invariant case and $d=O(n)$ for the sparse case, where $n$ is the number of examples and $d$ the ambient dimension, and finally, (e) we propose an efficient iterative algorithm with running-time complexity proportional to $O(nd^2)$, improving on earlier algorithms which had quadratic complexity in the number of examples.

연구 동기 및 목표

• 기존 비볼록, 교대 최적화 기반 클러스터링 방법의 이론적 분석 부족성과 확장성 문제를 해결한다.
• 고차원 데이터에서 관련 없는 변수가 존재할 경우에도 특징 선택이 가능하고 성능 향상을 이룰 수 있도록 분류적 클러스터링에 희소 확장을 도입한다.
• 클러스터 균형을 직접적으로 다루는 데 필요한 초파rameter를 요구하지 않으면서도 암묵적으로 처리할 수 있는 볼록 완화 프레임워크를 제공한다.
• 분류적 클러스터링 공식을 자연스럽게 다중 레이블 상황으로 확장하면서도 볼록성을 유지한다.
• 샘플 수에 대해 선형적 의존성을 가지는 효율적인 알고리즘을 개발하여 이전의 이차 시간 복잡도 방법보다 향상시킨다.

제안 방법

• 분류적 클러스터링과 차원 축소의 병합을 제곱 손실을 가진 분류적 클러스터링과 동치인 볼록 최적화 문제로 재구성한다.
• $w$의 투영 벡터에 $\ell_1$-정규화를 도입하여 희소성을 강제함으로써 관련 특징의 선택을 가능하게 한다.
• 이론적 접근성이 유지되는 볼록 완화로 희소 분류적 클러스터링 문제를 공식화한다.
• 다중 레이블 클러스터링을 위해 각 데이터 포인트에 대한 다수의 레이블을 레이블 행렬 $Y$로 모델링함으로써 프레임워크를 확장한다.
• 샘플 수에 대해 선형적 의존성을 가지는 $O(nd^2)$ 시간 복잡도의 반복 알고리즘을 제안하며, 이는 이전의 $O(n^2)$-기반 방법보다 크게 향상된다.
• 상관계수 기반 목표 함수에서 평균 중심화를 처리하기 위해 중심화 투영 $\Pi_n = I_n - \frac{1}{n}1_n1_n^T$를 사용한다.

실험 결과

연구 질문

• RQ1 공동 클러스터링 및 차원 축소를 위한 볼록 공식화를 유도할 수 있는가? 이는 기존의 분류적 클러스터링 프레임워크와 동치인가?
• RQ2 분류적 클러스터링에 희소 정규화를 통합함으로써 볼록성은 유지되고 고차원 데이터에서 클러스터 복원 성능이 향상되는가?
• RQ3 희소성과 애핀 불변성의 경우에서, 잠재 차원 $d$, 표본 수 $n$, 클러스터 가능성 간의 이론적 척도 법칙은 무엇인가?
• RQ4 제안된 방법은 볼록성과 효율성을 유지하면서 다중 레이블 클러스터링으로 자연스럽게 확장될 수 있는가?
• RQ5 샘플 수에 대해 선형 의존성을 가지는 $O(nd^2)$ 복잡도의 알고리즘을 설계하여 기존의 $O(n^2)$-기반 방법보다 실질적으로 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 희소 분류적 클러스터링 방법은 Heart, Breast-cancer, Sonar 등의 다수의 이진 클러스터링 데이터셋에서 비희소 분류적 클러스터링, 교대 최적화, $K$-means보다 낮은 클러스터 오차를 기록하였다.
• 고차원 DNA(1 vs 2,3) 데이터셋($d=180$)에서 희소 방법은 비희소 방법의 83% 대비 75%의 클러스터 오차를 기록하여 관련 없는 특징에 대한 강건성을 높였음을 보여주었다.
• $a1a$ 데이터셋($d=113$)에서 희소 방법은 74%의 오차를 기록하여 $K$-means(80%)와 교대 최적화(98%)를 모두 뛰어넘었으며, 고차원성에서의 효과성을 입증하였다.
• $w1a$ 데이터셋($d=290$)에서 희소 방법은 11%의 오차를 기록하여 $K$-means(16%)와 교대 최적화(92%)를 크게 앞서며, 노이즈가 많고 고차원적인 환경에서의 우수성을 확인하였다.
• COCO에서 2000장의 이미지와 80개의 레이블을 사용한 다중 레이블 실험에서, $k=30$개의 예측 레이블을 사용하여 사람, 차량, 의자 등의 10개의 높은 상관관계를 가지는 레이블을 성공적으로 복원하였다. 이는 비지도 다중 레이블 탐색에서의 효과성을 입증한다.
• 이론적 분석 결과, 애핀 불변성의 경우 $d = O(\sqrt{n})$가 클러스터 복원에 충분하며, 희소성의 경우 $d = O(n)$이므로, 클러스터 가능성 조건 하에서 유리한 척도 법칙을 가짐을 나타낸다.