[논문 리뷰] Scalable Support Vector Clustering Using Budget

Tung Pham, Trung Le외 1명|arXiv (Cornell University)|2017. 09. 19.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 3

한 줄 요약

이 논문은 전통적인 서포트 기반 클러스터링의 높은 계산 비용을 극복하기 위해 예산 제약 조건을 적용한 확률적 경사 하강법(Stochastic Gradient Descent, SGD)을 사용하는 확장 가능한 서포트 벡터 클러스터링 방법을 제안한다. 신규성 영역을 초평면으로 모델링하고 예산 제약이 부여된 SGD를 적용함으로써, 기존 기준과 유사한 클러스터링 품질을 확보하면서도 훈련 및 클러스터링 시간을 크게 단축시켰으며, 특히 대규모 데이터셋에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Owing to its application in solving the difficult and diverse clustering or outlier detection problem, support-based clustering has recently drawn plenty of attention. Support-based clustering method always undergoes two phases: finding the domain of novelty and performing clustering assignment. To find the domain of novelty, the training time given by the current solvers is typically over-quadratic in the training size, and hence precluding the usage of support-based clustering method for large-scale datasets. In this paper, we propose applying Stochastic Gradient Descent (SGD) framework to the first phase of support-based clustering for finding the domain of novelty and a new strategy to perform the clustering assignment. However, the direct application of SGD to the first phase of support-based clustering is vulnerable to the curse of kernelization, that is, the model size linearly grows up with the data size accumulated overtime. To address this issue, we invoke the budget approach which allows us to restrict the model size to a small budget. Our new strategy for clustering assignment enables a fast computation by means of reducing the task of clustering assignment on the full training set to the same task on a significantly smaller set. We also provide a rigorous theoretical analysis about the convergence rate for the proposed method. Finally, we validate our proposed method on the well-known datasets for clustering to show that the proposed method offers a comparable clustering quality while simultaneously achieving significant speedup in comparison with the baselines.

연구 동기 및 목표

• 데이터셋 크기에 따라 과도하게 증가하는 전통적인 서포트 기반 클러스터링 방법의 높은 계산 복잡도를 해결한다.
• 느린 최적화 솔버를 대체하여 확률적 경사 하강법(SGD) 프레임워크를 도입함으로써 대규모 데이터셋에 대한 확장 가능한 클러스터링을 가능하게 한다.
• 모델 크기가 데이터 크기에 비례해 증가하는 커널화의 고통을 완화하기 위해 지원 벡터 축적을 제한하는 예산 제약 조건을 도입한다.
• 전체 훈련 세트를 대상으로 하지 않고 평형점에 집중함으로써 계산 복잡도를 줄이는 새로운 클러스터링 할당 전략을 개발한다.
• 서포트 벡터 클러스터링 맥락에서 제안된 예산 제약이 부여된 SGD 기반 최적화의 엄밀한 이론적 수렴 분석을 제공한다.

제안 방법

• 기존의 초구 기반의 신규성 영역을 초평면으로 대체하여 SGD를 통한 최적화를 가능하게 한다.
• 논문 [33]의 SGD 프레임워크를 활용하여 특성 공간에서 최적의 초평면을 찾는 최적화 문제를 해결한다.
• 지원 벡터 수를 제한하고 모델 크기의 폭발을 방지하기 위해 예산 유지를 위한 절차(제거, 투영, 또는 병합)를 도입한다.
• 각 데이터 포인트가 평형점으로 이동하는 궤적을 따라가는 새로운 클러스터링 할당 전략을 제안함으로써 할당 복잡도를 더 작은 평형점 집합으로 줄인다.
• 예산 관리에 대해 세 가지 변형을 구현한다: BSGD-R(제거 전략), BSGD-PNN(k-최근접 이웃을 통한 투영), BSGD-PRN(k-무작위 이웃을 통한 투영).
• 이론적 분석을 통해 표준 가정 하에 제안된 예산 제약이 부여된 SGD 방법의 수렴성을 입증하여 안정성과 성능을 보장한다.

실험 결과

연구 질문

• RQ1 서포트 벡터 클러스터링의 신규성 영역 단계에 대해 SGD 기반 최적화가 확장성 확보를 위해 효과적으로 적용될 수 있는가?
• RQ2 커널화된 SGD를 통한 클러스터링에서 예산 제약 조건이 커널화의 고통을 어떻게 완화하는가?
• RQ3 제안된 평형점 궤적 기반 클러스터링 할당 전략이 클러스터링 품질을 훼손하지 않으면서 계산 비용을 줄일 수 있는가?
• RQ4 실제 세계 데이터셋에서 제안된 방법이 최신 기준 기준과 비교해 클러스터링 정확도와 훈련 속도 측면에서 어떻게 성능을 내는가?
• RQ5 서포트 벡터 클러스터링 맥락에서 제안된 예산 제약이 부여된 SGD 알고리즘의 이론적 수렴 속도는 얼마인가?

주요 결과

• 제안된 방법은 15개의 벤치마크 데이터셋에서 최신 기준 기준과 유사한 클러스터링 품질을 달성했으며, 15개 중 12개에서 최고의 순도를 기록했다.
• BSGD-R 변형(제거 전략)은 가장 빠른 클러스터링 할당 방법으로, 특히 Musk와 Shuttle과 같은 대규모 데이터셋에서 모든 기준 기준을 앞서는 클러스터링 시간을 기록했다.
• D31 데이터셋에서 제안된 방법은 훈련 시간을 SVC의 467.72초에서 BSGD-R의 4.58초로 단축시켜 100배의 속도 향상을 달성했다.
• 모든 15개 데이터셋에서 최고의 DB 지수를 확보하여 뛰어난 클러스터 밀도와 분리도를 입증했다.
• BSGD-PNN 변형은 BSGD-PRN보다 약간 느리지만, 15개 데이터셋 중 11개에서 최고의 NMI를 기록하여 정규화 상호정보량 측면에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 제안된 예산 제약이 부여된 SGD 방법의 수렴성을 확인하여 확장성과 강건성에 대한 견고한 기반을 마련했다.