[논문 리뷰] Improving ClusterGAN Using Self-Augmented Information Maximization of Disentangling Latent Spaces

Tanmoy Dam, Sreenatha G. Anavatti외 1명|arXiv (Cornell University)|2021. 07. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 52인용 수 7

한 줄 요약

이 논문은 자기 증강 정보 최대화를 통해 데이터 기반 사전 분포를 학습하여 클러스터링 성능을 향상시키는 새로운 ClusterGAN 변종인 SIMI-ClusterGAN을 제안한다. 이로 인해 잠재 공간의 분리도가 향상되고, 불균형 데이터셋에서 뛰어난 성능을 발휘한다. 이 방법은 일곱 개인 벤치마크 데이터셋에서 최신 기준 성능을 초월하며, 특히 클래스 불균형 상황에서 진정성 있는 비균일 사전 분포를 학습함으로써 진정한 데이터 분포와 더 잘 일치하는 결과를 도출한다.

ABSTRACT

Since their introduction in the last few years, conditional generative models have seen remarkable achievements. However, they often need the use of large amounts of labelled information. By using unsupervised conditional generation in conjunction with a clustering inference network, ClusterGAN has recently been able to achieve impressive clustering results. Since the real conditional distribution of data is ignored, the clustering inference network can only achieve inferior clustering performance by considering only uniform prior based generative samples. However, the true distribution is not necessarily balanced. Consequently, ClusterGAN fails to produce all modes, which results in sub-optimal clustering inference network performance. So, it is important to learn the prior, which tries to match the real distribution in an unsupervised way. In this paper, we propose self-augmentation information maximization improved ClusterGAN (SIMI-ClusterGAN) to learn the distinctive priors from the data directly. The proposed SIMI-ClusterGAN consists of four deep neural networks: self-augmentation prior network, generator, discriminator and clustering inference network. The proposed method has been validated using seven benchmark data sets and has shown improved performance over state-of-the art methods. To demonstrate the superiority of SIMI-ClusterGAN performance on imbalanced dataset, we have discussed two imbalanced conditions on MNIST datasets with one-class imbalance and three classes imbalanced cases. The results highlight the advantages of SIMI-ClusterGAN.

연구 동기 및 목표

• 클러스터링 성능 향상을 위해 균일한 사전 분포 대신 자기 증강과 정보 최대화를 통해 학습된 데이터 기반 사전 분포를 도입함으로써, 특히 불균형 설정에서 진정성 있는 비균일 사전 분포를 학습하는 데에 그 제한성을 해결하고자 한다.
• 자기 증강과 정보 최대화를 통해 학습된 데이터 기반 사전 분포로 균일한 사전 분포를 대체하여 클러스터링 성능을 향상시키고자 한다.
• 실제 데이터 분포에 대한 사전 분포 일치를 강제하여 클러스터링 추론 네트워크의 잠재 표현 분리도를 향상시키고자 한다.
• 균형 잡힌 데이터셋과 극도로 불균형적인 벤치마크 데이터셋(예: MNIST 및 CIFAR-10 포함)에서 제안된 방법의 강건성과 우수성을 입증하고자 한다.

제안 방법

• 자기 증강된 시각 간의 상호정보량을 최대화하여 증강된 데이터 시각 간의 상관관계를 극대화함으로써 이산적이고 데이터 기반의 사전 분포를 학습하는 자기 증강 사전 네트워크를 도입한다.
• 연속적인 노이즈와 자기 증강된 이산적 사전 분포를 조합한 하이브리드 잠재 공간을 구성하여 생성자에게 더 현실적인 샘플 생성을 유도한다.
• 실제 데이터와 생성된 데이터의 표현이 잠재 공간에서 일관성을 유지하도록 공유 가중치를 가진 생성자-에ncoder 아키텍처를 구현한다.
• 추론 네트워크를 정규화하기 위해 세 가지 추가 손실 함수를 사용한다: 자기 증강 대비 손실, 상호정보량 최대화 손실, 클러스터링 할당 손실.
• 학습된 사전 분포를 사용하여 생성자와 판별자 간의 적대적 훈련을 적용함으로써 모드 커버리지와 샘플 품질을 향상시킨다.
• 생성자와 클러스터링 추론 인코더 간의 가중치 공유를 활용하여 분리되고 클래스별로 특화된 표현을 강제한다.

실험 결과

연구 질문

• RQ1 자기 증강된 정보 최대화가 진정한 데이터 분포를 더 잘 반영하는 데 있어 ClusterGAN의 사전 분포 학습에 기여하는가?
• RQ2 균일한 사전 분포에 비해 데이터 기반 사전 분포를 학습할 경우, 불균형 데이터셋에서 클러스터링 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 클러스터링 추론 네트워크의 잠재 표현 분리도를 어느 정도 향상시키는가?
• RQ4 제안된 방법은 균형 잡힌 조건과 불균형 조건을 모두 만족하는 표준 벤치마크 데이터셋에서 최신 기준 클러스터링 방법을 초월하는가?

주요 결과

• MNIST에서 SIMI-ClusterGAN은 97.2%의 정확도와 92.1%의 NMI를 기록하여 균일한 사전 분포를 사용한 ClusterGAN의 95.0%와 89.0%를 크게 앞서며 뛰어난 성능을 보였다.
• CIFAR-10에서 SIMI-ClusterGAN은 22.8%의 정확도와 6.7%의 NMI를 기록하여, ClusterGAN의 15.9%와 2.5%를 상회하며 고차원 복잡한 데이터에서의 성능 향상을 입증했다.
• 일부 클래스 불균형 상황(0번 숫자가 10%인 경우)에서 SIMI-ClusterGAN은 96.9%의 정확도와 92.3%의 NMI를 기록했고, ClusterGAN의 89.2%와 83.6%를 뛰어넘었다.
• 세 클래스 불균형 상황(1, 3, 5번 숫자가 각각 10%, 30%, 50% 비율로 존재하는 경우)에서 SIMI-ClusterGAN은 94.9%의 정확도와 90.9%의 NMI를 기록했으며, ClusterGAN의 81.2%와 78.7%를 능가했다.
• t-SNE 시각화 결과, SIMI-ClusterGAN은 소수 클래스에서 특히 더 분리도가 높고 순수한 클러스터를 생성하는 것으로 확인되었고, 반면 ClusterGAN은 혼합되거나 붕괴된 샘플을 생성했다.
• 제거 실험 결과, 자기 증강, 상호정보량 최대화, 클러스터링 손실 각각이 최종 성능 향상에 기여하는 데 중요한 역할을 했다.