[논문 리뷰] RDEC: Integrating Regularization into Deep Embedded Clustering for Imbalanced Datasets

Yaling Tao, Kentaro Takagi외 1명|arXiv (Cornell University)|2018. 12. 06.

Anomaly Detection Techniques and Applications참고 문헌 18인용 수 11

한 줄 요약

이 논문은 불균형 데이터셋에서의 성능 향상을 위해 가상의 적대적 훈련(VAT)을 통합한 딥 임bedded 클러스터링 방법인 RDEC를 제안한다. 입력의 미세한 변형에 대해 모델이 강건하도록 정규화함으로써, 특히 소수의 클래스에 대해 클러스터의 밀도를 향상시켜 MNIST에서 98.41%의 정확도와 극도로 불균형한 MNIST 변형에서 85.45%의 정확도를 달성하며, DEC보다 8% 높고 K-means보다 거의 40% 높다.

ABSTRACT

Clustering is a fundamental machine learning task and can be used in many applications. With the development of deep neural networks (DNNs), combining techniques from DNNs with clustering has become a new research direction and achieved some success. However, few studies have focused on the imbalanced-data problem which commonly occurs in real-world applications. In this paper, we propose a clustering method, regularized deep embedding clustering (RDEC), that integrates virtual adversarial training (VAT), a network regularization technique, with a clustering method called deep embedding clustering (DEC). DEC optimizes cluster assignments by pushing data more densely around centroids in latent space, but it is sometimes sensitive to the initial location of centroids, especially in the case of imbalanced data, where the minor class has less chance to be assigned a good centroid. RDEC introduces regularization using VAT to ensure the model's robustness to local perturbations of data. VAT pushes data that are similar in the original space closer together in the latent space, bunching together data from minor classes and thereby facilitating cluster identification by RDEC. Combining the advantages of DEC and VAT, RDEC attains state-of-the-art performance on both balanced and imbalanced benchmark/real-world datasets. For example, accuracies are as high as 98.41% on MNIST dataset and 85.45% on a highly imbalanced dataset derived from the MNIST, which is nearly 8% higher than the current best result.

연구 동기 및 목표

• 소수의 클래스가 잘 표현되지 않아 자주 잘못 클러스터링되는 불균형 데이터셋에서 딥 클러스터링 방법의 성능 저하 문제를 해결한다.
• 무작위 초기화로 인해 소수 클래스의 클러스터에 대해 수렴이 불량해지는 DEC의 초기 중심 문제를 해결한다.
• 중심점에서 멀리 떨어진 데이터가 소규모 클러스터에 비율적으로 과도하게 할당되는 '소외된 데이터 문제'를 완화한다.
• 특히 실제 데이터에서 드물지만 의미 있는 패턴에 대해 정규화를 통해 강건성과 클러스터의 밀도를 향상시킨다.
• 라벨이 없는 데이터를 요구하지 않으면서도 균형 잡힌 데이터셋과 극도로 불균형한 데이터셋 모두에서 높은 성능을 유지하는 방법을 개발한다.

제안 방법

• 딥 임bed딩 클러스터링(DEC) 프레임워크에 가상의 적대적 훈련(VAT)을 통합하여 소규모 입력 변형에 대해 모델을 정규화한다.
• VAT를 통해 유사한 데이터 포인트들에 대해 조건부로 일관된 잠재 표현을 생성하도록 모델을 유도한다.
• 클러스터링 최적화 단계 동안 VAT를 적용하여 유사한 데이터—특히 소수 클래스의 샘플들—이 잠재 공간에서 더 가까이 오도록 유도한다.
• 소프트 할당에서 유도된 타겟 분포와 예측된 클러스터 할당 간의 KL 발산을 최소화하는 DEC의 목표를 유지한다.
• 두 단계 훈련 과정을 사용한다: 오토에인코더를 미리 훈련한 후, 클러스터링과 정규화 목표를 동시에 최적화한다.
• 클러스터링 손실이 50회 반복 동안 향상되지 않으면 조기 정지 기반의 수렴 기준을 적용한다.

실험 결과

연구 질문

• RQ1 가상의 적대적 훈련(VAT)이 모델의 강건성을 향상시켜 불균형 데이터셋에서의 클러스터링 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 DEC에 VAT를 통합하면 특히 소수 클래스에 대해 초기 중심 배치에 대한 민감도가 감소하는가?
• RQ3 VAT는 중심점에서 멀리 떨어진 또는 이상치처럼 보이는 샘플들이 소규모 클러스터에 잘못 할당되는 문제를 완화할 수 있는가?
• RQ4 RDEC는 균형 잡힌 데이터셋과 극도로 불균형한 실제 데이터셋 모두에서 기준 클러스터링 방법(K-means, AE+K-means, DEC)과 비교해 어떻게 성능을 내는가?
• RQ5 실제 응용 분야인 반도체 웨이퍼 결함 분류에서 RDEC는 소수의 클러스터 무결성을 얼마나 잘 유지하는가?

주요 결과

• RDEC는 MNIST 데이터셋에서 98.41%의 클러스터링 정확도를 달성하여 지도 학습 수준의 최첨단 성능을 보였다.
• 최소 클래스 비율이 0.06%인 극도로 불균형한 MNIST 변형에서 RDEC는 85.45%의 정확도를 기록했으며, DEC보다 8% 높고 K-means보다 거의 40% 높았다.
• 웨이퍼 결함 지ap 클러스터링에서 RDEC는 79.86%의 정확도를 달성했으며, DEC보다 37.76% 향상되어 드문 결함 패턴을 일관된 클러스터로 묶는 데 성공했다.
• RDEC는 가장 큰 클래스(68.57%)의 대부분의 웨이퍼를 하나의 클러스터로 묶는 데 성공했으며, 이는 DEC가 여러 클러스터로 분산시키는 것과 대조된다.
• 이 방법은 소규모이지만 특징이 뚜렷한 클러스터(예: 0.12%와 0.06%의 데이터를 가진 클래스 10과 11)를 효과적으로 식별하고 통합하는 데 강력한 능력을 보였다. 이는 조기 결함 탐지에 매우 중요하다.
• VAT 통합으로 인해 입력의 변형에 대한 강건성이 크게 향상되어, 특히 소수 클래스에 대해 더 밀도 있고 의미 있는 클러스터 구조를 만들어 냈다.