[논문 리뷰] Contrastive Fine-grained Class Clustering via Generative Adversarial Networks

Yunji Kim, Jung-Woo Ha|arXiv (Cornell University)|2021. 12. 30.

Face recognition and analysis인용 수 5

한 줄 요약

C3-GAN은 InfoGAN의 순서형 추론과 대비 학습을 결합하여 군집화 友화 임베딩 공간을 학습하는 새로운 GAN 기반 방법을 제안한다. 이는 인간의 레이블 없이도 네 가지 미세 분류 데이터셋에서 최고 성능을 달성하면서도, 이미지-잠재 벡터 쌍을 양성 및 음성 샘플로 사용하여 디스criminator를 대비 손실 최적화하도록 훈련시킴으로써 모드 붕괴를 완화한다.

ABSTRACT

Unsupervised fine-grained class clustering is a practical yet challenging task due to the difficulty of feature representations learning of subtle object details. We introduce C3-GAN, a method that leverages the categorical inference power of InfoGAN with contrastive learning. We aim to learn feature representations that encourage a dataset to form distinct cluster boundaries in the embedding space, while also maximizing the mutual information between the latent code and its image observation. Our approach is to train a discriminator, which is also used for inferring clusters, to optimize the contrastive loss, where image-latent pairs that maximize the mutual information are considered as positive pairs and the rest as negative pairs. Specifically, we map the input of a generator, which was sampled from the categorical distribution, to the embedding space of the discriminator and let them act as a cluster centroid. In this way, C3-GAN succeeded in learning a clustering-friendly embedding space where each cluster is distinctively separable. Experimental results show that C3-GAN achieved the state-of-the-art clustering performance on four fine-grained image datasets, while also alleviating the mode collapse phenomenon. Code is available at https://github.com/naver-ai/c3-gan.

연구 동기 및 목표

• 미세 분류 클래스 간의 미세한 시각적 차이가 표현 학습을 어렵게 하는 비감독적 미세 분류 클래스 군집화 문제를 해결하기 위해.
• 데이터 증강으로 인해 미세 분류 변형을 노이즈로 간주하는 기존 자기지도 학습 방법의 한계를 극복하기 위해.
• 사람이 레이블링한 바운딩 박스나 분류기 의존을 제거하여 다양한 비정제된 데이터셋에 적용 가능하게 하기 위해.
• 대비 정규화 방식을 통해 GAN 훈련 안정성을 향상시키고 모드 붕괴를 완화하기 위해.
• 각 클래스가 명확하고 선형적으로 분리 가능한 군집을 형성하는 분리된, 군집화 우호적인 임베딩 공간을 학습하기 위해.

제안 방법

• C3-GAN은 클래스 식별을 위한 순서형 코드 $c$와 콘텐츠 변형을 위한 연속형 코드 $z$를 갖는 조건부 GAN 프레임워크를 사용한다.
• 생성자는 $c$와 $z$를 입력으로 받아 합성된 이미지를 생성하고, 디스criminator는 이미지를 임bed딩하며 순서형 코드 $c$를 사용해 군집 중심을 예측한다.
• 대비 학습은 상호정보가 높은 이미지-잠재 코드 쌍을 양성 쌍으로, 나머지를 음성 쌍으로 정의함으로써 적용된다.
• 디스criminator는 동일한 $c$를 가진 이미지의 특징을 가까이, 다른 $c$를 가진 이미지의 특징을 멀리 떼어내도록 대비 손실을 최대화하도록 훈련된다.
• PerturbGAN에 영감을 받아 레이블 없이 시나리오 분해를 구현하여 생성자가 주로 전경 객체에 집중하도록 유도한다.
• 훈련 목표는 잠재 공간에 명확한 군집 경계를 형성하도록 정규화하여 군집화 및 생성 품질을 모두 향상시킨다.

실험 결과

연구 질문

• RQ1 대비 학습을 InfoGAN과 효과적으로 융합하여 인간의 레이블 없이도 비감독적 미세 분류 군집화를 향상시킬 수 있는가?
• RQ2 이미지-잠재 벡터 쌍에 대해 디스criminator를 대비 손실로 훈련시키면 임베딩 공간 내 군집 간 분리가 향상되는가?
• RQ3 GAN 기반 프레임워크는 모드 붕괴를 완화하면서도 미세 분류 데이터셋에서 최고 성능의 군집화 성능를 달성할 수 있는가?
• RQ4 바운딩 박스 레이블 없이 시나리오 분해를 수행할 경우, 미세 분류 군집화를 위한 특징 학습이 어느 정도 향상되는가?
• RQ5 유도된 임베딩 공간은 군집화와 이미지 생성 품질을 동시에 향상시키는가?

주요 결과

• C3-GAN은 CUB, Stanford Cars, Stanford Dogs, Oxford Flowers 네 가지 미세 분류 데이터셋에서 최고 성능을 달성했다.
• 기본 모델 GAN 대비 모드 붕괴가 크게 감소했으며, 시각적 분석을 통해 색상, 형태, 레이아웃 등 다양한 내부 클래스 변형이 잘 유지됨을 확인했다.
• 오직 C3-GAN만 레이블 없이도 시나리오 분해를 성공적으로 수행했고, FineGAN 및 MixNMatch와 같은 기준 모델들은 배경 이미지만 생성하는 경향을 보였다.
• 이미지 생성 측면에서 경쟁력 있는 FID 및 Inception Score를 기록했으며, CUB에서는 Inception Score 8.7, Stanford Dogs에서는 8.6를 기록하여 고품질의 이미지 합성을 입증했다.
• 역 KL 스코어 분석 결과 실제 분포와 생성된 분포 간의 밀도가 매우 유사함을 확인하여 효과적인 분포 모델링이 이루어졌음을 시사했다.
• 제거 실험 결과 $c$와 $z$가 클래스 식별과 콘텐츠 변형을 효과적으로 분리함을 입증했으며, $c$는 종을 제어하고 $z$는 자세와 배경을 제어함을 확인했다.