[논문 리뷰] Deep Learning with Nonparametric Clustering

Gang Chen|arXiv (Cornell University)|2015. 01. 13.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 60

한 줄 요약

이 논문은 비모수적 최대 마진 군집화(NMMC)를 갖춘 딥 베리프 네트워크(DBN)를 제안하여 비지도 군집화를 수행한다. 이는 깊이 있는 특징 학습과 분류 성향이 있으며, 모델 복잡도를 적응적으로 조절하는 온라인 군집화를 결합한다. 방법은 DBN을 사전 학습하여 표현 학습을 수행하고, NMMC를 적용하여 효율적이고 확장 가능한 군집화를 실시하며, 자동으로 군집 수를 추정한다. 이후 네트워크를 미세 조정하여 20개 뉴스그룹과 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Clustering is an essential problem in machine learning and data mining. One vital factor that impacts clustering performance is how to learn or design the data representation (or features). Fortunately, recent advances in deep learning can learn unsupervised features effectively, and have yielded state of the art performance in many classification problems, such as character recognition, object recognition and document categorization. However, little attention has been paid to the potential of deep learning for unsupervised clustering problems. In this paper, we propose a deep belief network with nonparametric clustering. As an unsupervised method, our model first leverages the advantages of deep learning for feature representation and dimension reduction. Then, it performs nonparametric clustering under a maximum margin framework -- a discriminative clustering model and can be trained online efficiently in the code space. Lastly model parameters are refined in the deep belief network. Thus, this model can learn features for clustering and infer model complexity in an unified framework. The experimental results show the advantage of our approach over competitive baselines.

연구 동기 및 목표

• 고차원 데이터에서 특징 표현이 열 劣하거나 노이즈가 많은 경우 발생하는 비지도 군집화 성능 저하 문제를 해결한다.
• 딥 러닝의 표현 학습 능력과 비모수 군집화를 융합하여, 사전 지정이 필요 없는 모델 복잡도(군집 수)를 자동으로 추론한다.
• 기존 비모수 베이지안 모델(DPM 등)이 지닌 계산 부담을 피하는 분류 성향이 있으며, 온라인이고 확장 가능한 군집화 방법을 개발한다.
• 특징 학습, 군집화, 모델 정교화를 하나의 엔드 투 엔드 프레임워크로 통합하여 테스트 데이터에 대한 일반화 능력을 향상시킨다.

제안 방법

• 원시 고차원 입력에서 계층적 저차원 표현을 추출하기 위해 탐욕적 학습 방식으로 DBN을 계층별로 사전 학습한다.
• 학습된 코드 공간에서 비모수적 최대 마진 군집화(NMMC)를 적용하여 대용량 간격 분리가 가능한 분류 성향 군집화를 수행하며, 온라인 업데이트와 자동 군집 수 탐지 기능을 제공한다.
• 군집 레이블을 잠재 변수로 간주하고 최대 마진 프레임워크를 활용하여 군집화 가중치를 반복적으로 최적화함으로써 분류 성능를 향상시킨다.
• 백프로파게이션을 사용하여 DBN의 파라미터(특히 최상위 가중치 행렬과 군집화 가중치)를 미세 조정하여 군집 피드백 기반으로 특징 표현을 정교화한다.
• NMMC의 온라인 성격을 활용하여 대규모 데이터셋에 효율적으로 스케일업하고, 재학습 없이 데이터 증가에 적응할 수 있다.
• 딥 러닝의 비선형 특징 추상화 능력과 비모수 베이지안 모델의 자동 모델 복잡도 선택 능력을 통합한 훈련 가능한 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 비모수 군집화 방법과 분류 성향이 있는 군집화 방법을 결합한 깊이 있는 특징 학습이 비지도 군집화 성능 향상에 기여할 수 있는가?
• RQ2 NMMC와 같은 비모수 군집화 방법을 딥 러닝 프레임워크 내에서 효율적으로 통합하여 엔드 투 엔드 학습이 가능할 수 있는가?
• RQ3 DBN과 NMMC를 융합한 모델이 기존 비지도 군집화 기준 모델 대비 테스트 데이터에서 더 나은 일반화 성능을 보일 수 있는가?
• RQ4 사전 지정 없이도 제안된 방법이 모델 복잡도(즉, 군집 수)를 어떻게 다루는가?
• RQ5 미세 조정 단계가 딥 네트워크 아키텍처에서 군집화 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 DBN+NMMC 모델은 20 Newsgroups 데이터셋의 테스트 세트에서 랜드 지수 0.065 ± 0.025를 기록하여 DPM를 능가하고, k-means 및 GMM와 비교해도 동등하거나 뛰어난 테스트 성능을 보였다.
• 미세 조정이 군집 정확도를 크게 향상시켰으며, 사전 학습 전 상태에서의 F-값 0.110 ± 0.012에서 미세 조정 후 0.141 ± 0.020으로 상승하여 효과적인 파rameter 정교화를 입증했다.
• 동일한 DBN 기반 특징 학습 환경에서 NMMC는 DPM를 일관되게 능가했으며, 1층 DBN에서는 테스트 세트에서 F-값이 12% 높았고(0.141 대비 0.126), 2층 DBN에서는 15% 향상되었다(0.141 대비 0.123).
• NMMC의 온라인 업데이트 메커니즘 덕분에 차원 수가 증가할수록 DPM보다 효율적이며, 시간 복잡도 측면에서 유리하다.
• 비지도 모델임에도 불구하고 k-means 및 GMM와 유사한 경쟁 성능를 기록했으며, 이는 K=20 군집을 사전에 알고 있어야 하는 지도 기반 기준 모델과 비교해도 유의미한 성능을 보였다.
• 사전 학습만 한 경우보다 미세 조정된 DBN+NMMC 모델이 더 나은 일반화 성능을 보였으며, 엔드 투 엔드 학습 과정이 특징 학습과 군집화 목표를 효과적으로 통합하고 있음을 시사한다.