[논문 리뷰] Deep Image Clustering with Category-Style Representation

Junjie Zhao, Donghuan Lu외 3명|arXiv (Cornell University)|2020. 07. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 8

한 줄 요약

이 논문은 상호정보량을 최대화하고 데이터 증강을 활용하여 카테고리(이종 간)와 스타일(내종 간) 특징을 분리함으로써 분리된 카테고리 스타일 표현을 학습하는 새로운 딥 이미지 클러스터링 프레임워크인 DCCS를 제안한다. 카테고리 부분은 직접 클러스터 할당으로 사용되며, 다섯 개인 공개 데이터셋에서 정확도와 정규화된 상호정보량 모두에서 최신 기술을 뛰어넘는 성능을 기록한다.

ABSTRACT

Deep clustering which adopts deep neural networks to obtain optimal representations for clustering has been widely studied recently. In this paper, we propose a novel deep image clustering framework to learn a category-style latent representation in which the category information is disentangled from image style and can be directly used as the cluster assignment. To achieve this goal, mutual information maximization is applied to embed relevant information in the latent representation. Moreover, augmentation-invariant loss is employed to disentangle the representation into category part and style part. Last but not least, a prior distribution is imposed on the latent representation to ensure the elements of the category vector can be used as the probabilities over clusters. Comprehensive experiments demonstrate that the proposed approach outperforms state-of-the-art methods significantly on five public datasets.

연구 동기 및 목표

• 재구성 또는 생성 손실에 의존하는 기존 딥 클러스터링 방법의 한계를 해결하기 위해, 관련 없는 정보를 도입하고 학습을 복잡하게 만드는 것을 방지하기 위함.
• 잠재 표현의 엔드 투 엔드 학습을 가능하게 하여, 카테고리 구성 요소를 추가 클러스터링 단계 없이 직접 클러스터 할당으로 사용할 수 있도록 하기 위함.
• 데이터 증강을 감독 신호로 활용하여, 비중요한 스타일 변형과 구분되는 분류 가능한 카테고리 정보를 분리함으로써, 카테고리와 스타일을 분리하기 위함.
• 카테고리 표현이 클러스터링에 적합하도록, 일항형 유사 행동을 유도하는 사전 분포를 도입함으로써, 이를 보장하기 위함.
• 포괄적인 실험과 분석 연구를 통해 최신 기술 대비 뛰어난 성능을 입증하기 위함.

제안 방법

• 잠재 표현과 입력 이미지 간의 상호정보량을 최대화하여 분류 가능한 정보를 유지하고, 임의의 표현을 방지함.
• 데이터 증강을 사용하여 잠재 공간에서의 불변성을 유도함으로써, 카테고리(이종 간)와 스타일(내종 간) 구성 요소의 분리 가능성을 확보함.
• 잠재 표현을 두 부분으로 분해함: $Z_c$ (카테고리)와 $Z_s$ (스타일), 여기서 $Z_c$ 는 직접적으로 클러스터 할당에 사용됨.
• $Z_c$ 에 사전 분포를 도입하여, 일항형 벡터에 가까운 값을 취하도록 유도함으로써, 클러스터에 대한 확률 분포로 적합하게 만들기 위함.
• 세 가지 손실을 사용하여 네트워크를 엔드 투 엔드로 학습함: 상호정보량 최대화, 증강 기반 카테고리-스타일 분리, 사전 분포 정규화.
• 디스크림이너 기반의 적대적 손실을 사용하여 잠재 표현의 분류 능력을 향상시키며, 디코더나 생성기 없이도 가능하게 함.

실험 결과

연구 질문

• RQ1 상호정보량 최대화만으로도 재구성 또는 생성 손실을 대체하여 딥 클러스터링에서 분류 가능한 특징을 유지할 수 있는가?
• RQ2 데이터 증강이 딥 클러스터링 프레임워크에서 카테고리와 스타일 표현을 효과적으로 분리하는 데 기여하는가?
• RQ3 카테고리 표현에 사전 분포를 도입하면, 추가적인 클러스터링 단계 없이도 잠재 벡터를 직접 클러스터 할당으로 사용할 수 있는가?
• RQ4 제안된 방법의 개별 구성 요소들이 전체 클러스터링 성능에 기여하는 방식은 어떠한가?
• RQ5 제안된 방법은 다양한 수준의 내종 간 변동성을 가진 다양한 이미지 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 DCCS 프레임워크는 다섯 개인 공개 데이터셋에서 최신 기술 수준의 성능을 기록하였으며, Fashion-MNIST에서 평균 정확도 0.756, CIFAR-10에서 0.656을 기록하여 이전 방법들을 크게 앞서나갔다.
• 전체 표현 $Z$ 에서 K-means를 적용한 결과와 $Z_c$ 에서의 성능가 거의 동일함을 확인하여, $Z_c$ 가 클러스터링에 충분한 분류 가능한 정보를 포함하고 있음을 입증함.
• $Z_s$ 에서 K-means를 적용한 성능는 상당히 열 劣하나 (예: Fashion-MNIST에서 0.498 ACC), 스타일과 카테고리 정보의 효과적인 분리가 이루어졌음을 보여줌.
• 절단 분석 결과, 상호정보량 최대화, 증강 기반 분리, 사전 분포 정규화의 세 가지 손실을 모두 조합할 경우 최고의 성능를 기록하였으며, CIFAR-10에서 최대 10%의 향상이 있었음.
• 증강 손실의 최적 가중치 ($\beta_{\text{Aug}}$) 는 데이터셋에 따라 달라지며, 매우 작은 값이나 매우 큰 값일 경우 성능이 저하됨을 확인하여, 분리와 클러스터 밀도 사이의 상충 관계를 확인함.
• 스타일 표현 $Z_s$ 의 차원은 성능에 거의 영향을 주지 않지만, $Z_s$ 를 완전히 제거할 경우 정확도가 상당히 감소함을 통해, 내종 간 변동성을 포괄하기 위해 필수적임을 입증함.