[논문 리뷰] Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization

Kamran Ghasedi Dizaji, Amirhossein Herandi외 3명|arXiv (Cornell University)|2017. 04. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 57

한 줄 요약

DEPICT는 KL 발산을 클러스터-주파수 사전과 함께 최소화하여 깊은 임베딩과 클러스터링을 공동으로 학습하고, 재구성 손실을 통한 엔드-투-엔드 학습으로 정규화를 수행하며, 라벨이 있는 하이퍼파라미터 튜닝 없이도 강력한 클러스터링 성능과 더 빠른 실행 시간을 달성한다.

ABSTRACT

Image clustering is one of the most important computer vision applications, which has been extensively studied in literature. However, current clustering methods mostly suffer from lack of efficiency and scalability when dealing with large-scale and high-dimensional data. In this paper, we propose a new clustering model, called DEeP Embedded RegularIzed ClusTering (DEPICT), which efficiently maps data into a discriminative embedding subspace and precisely predicts cluster assignments. DEPICT generally consists of a multinomial logistic regression function stacked on top of a multi-layer convolutional autoencoder. We define a clustering objective function using relative entropy (KL divergence) minimization, regularized by a prior for the frequency of cluster assignments. An alternating strategy is then derived to optimize the objective by updating parameters and estimating cluster assignments. Furthermore, we employ the reconstruction loss functions in our autoencoder, as a data-dependent regularization term, to prevent the deep embedding function from overfitting. In order to benefit from end-to-end optimization and eliminate the necessity for layer-wise pretraining, we introduce a joint learning framework to minimize the unified clustering and reconstruction loss functions together and train all network layers simultaneously. Experimental results indicate the superiority and faster running time of DEPICT in real-world clustering tasks, where no labeled data is available for hyper-parameter tuning.

연구 동기 및 목표

• 고차원 대규모 이미지 데이터에서 클러스터링의 비효율성과 확장성 문제를 해결한다.
• 정확한 클러스터 할당에 적합한 깊고 판별적인 임베딩 부분공간을 개발한다.
• 클러스터링과 재구성 손실을 결합한 통합 엔드-투-엔드 최적화를 도입하여 계층별 선행 학습을 제거한다.
• 데이터 의존적 정규화로 자동인코더 기반 재구성 손실을 통해 과적합을 완화한다.
• 레이블 데이터 튜닝 필요를 줄이면서 경쟁력 있거나 우수한 클러스터링 성능을 입증한다.

제안 방법

• 다층 합성곱 자동인코더 위에 다항 로지스틱 회귀(소프트맥스) 계층이 있는 모델 DEPICT를 제안한다.
• 모델 예측과 보조 타깃 간의 KL 발산 최소화와 군집 빈도에 대한 사전(기본적으로 균일 사전)을 포함하는 군집화 목표를 정의한다.
• 교대 최적화를 사용한다: Q 타깃을 닫힌 형태의 근사로 업데이트(E-스텝), 그런 다음 Q에 대한 교차 엔트로피로 역전파하여 네트워크 매개변수를 업데이트(M-스텝).
• 재구성 손실을 데이터 의존적 정규화로 통합하며 모든 인코더/디코더 계층을 동시에 학습하는 공동 학습 프레임워크를 구현한다.
• 손상된 인코더와 깨끗한 인코더를 가진 잡음 제거 자동인코더 설정(MdA)으로 확장한다; 클러스터링은 깨끗한 임베딩에서 수행되고 예측은 손상된 경로에서 나오므로 노이즈에 무관한 클러스터링을 강제한다.
• 모든 계층에 걸친 클러스터링 손실과 재구성 손실을 결합한 통합 목적함수를 통해 계층별 사전 학습 없이 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 라벨이 있는 하이퍼파라미터 튜닝 없이도 고차원 이미지 데이터에서 공동 깊은 임베딩 및 클러스터링 모델이 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 재구성 기반 정규화를 포함한 엔드-투-엔드 공동 최적화가 비공동화나 계층별 선행 학습 접근법보다 더 구분 가능한 임베딩을 생성하는가?
• RQ3 군집 빈도 사전의 도입이 딥 클러스터링에서 군집 균형과 이상치 회피에 어떤 영향을 미치는가?
• RQ4 비지도 설정에서 잡음 강건한 클러스터링을 위한 잡음 제거 자동인코더 프레임워크(MdA)의 이점은 무엇인가?
• RQ5 표준 이미지 데이터세트에서 정확도와 NMI 면에서 DEPICT가 최신 클러스터링 방법과 어떻게 비교되며 실행 시간은 어떤가?

주요 결과

• DEPICT는 벤치마크 이미지 데이터셋에서 감독된 하이퍼파라미터 튜닝 없이도 경쟁력 있거나 우수한 클러스터링 성능을 달성한다.
• 공동 엔드-투-엔드 학습(MdA)은 비공동 또는 계층별 선행 학습 접근법보다 더 구분 가능한 임베딩 부분공간을 생성한다.
• KL-발산 클러스터링 목표와 군집 빈도 사전을 포함하면 군집 균형이 개선되고 이상치 할당이 감소한다.
• 재구성 손실을 데이터 의존적 정규화로 사용하면 과적합을 방지하고 클러스터링의 일반화를 향상시키는 데 도움이 된다.
• DEPICT는 특히 대규모 데이터셋에서 여러 최첨단 딥 클러스터링 방법과 비교해 더 빠른 실행 시간을 보여준다.