[논문 리뷰] Elastic-InfoGAN: Unsupervised Disentangled Representation Learning in Class-Imbalanced Data

Utkarsh Ojha, Krishna Kumar Singh외 2명|arXiv (Cornell University)|2020. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 3

한 줄 요약

이 논문은 클래스 불균형 데이터에서 객체 정체성과 저수준 시각적 요소를 분리시키기 위해 이산 잠재 요소가 정체성 유지 변환에 대해 불변이 되도록 하여, 비지도 학습 기반의 새로운 생성 모델인 Elastic-InfoGAN을 제안한다. 이러한 불변성은 학습 신호로 활용되며, 데이터 분포가 기울어져 있어도 효과적으로 분리된 표현을 학습할 수 있게 하여, 합성 및 실제 세계의 불균형 데이터셋에서 표준 InfoGAN보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel unsupervised generative model that learns to disentangle object identity from other low-level aspects in class-imbalanced data. We first investigate the issues surrounding the assumptions about uniformity made by InfoGAN, and demonstrate its ineffectiveness to properly disentangle object identity in imbalanced data. Our key idea is to make the discovery of the discrete latent factor of variation invariant to identity-preserving transformations in real images, and use that as a signal to learn the appropriate latent distribution representing object identity. Experiments on both artificial (MNIST, 3D cars, 3D chairs, ShapeNet) and real-world (YouTube-Faces) imbalanced datasets demonstrate the effectiveness of our method in disentangling object identity as a latent factor of variation.

연구 동기 및 목표

• 클래스 불균형 데이터 분포 하에서 InfoGAN이 객체 정체성을 분리하지 못하는 데서 기인하는 실패 원인을 해결하기 위해.
• InfoGAN의 균일한 잠재 분포 가정이 불균형 설정에서 왜 붕괴되는지 탐구하기 위해.
• 정체성 유지 변환에 대해 이산 잠재 요소가 불변이 되도록 하여 분리된 표현을 학습하는 방법을 개발하기 위해.
• 이러한 접근 방식이 합성 및 실제 세계의 불균형 데이터셋에서 효과적인지 입증하기 위해.

제안 방법

• 실제 이미지에서 정체성 유지 변환에 대해 이산 잠재 요소의 불변성을 강제하는 수정된 InfoGAN 목적함수를 도입한다.
• 데이터 증강을 활용하여 객체 정체성을 유지하면서 저수준 특징을 변경하는 변환을 생성한다.
• 모델은 이러한 정체성 유지 변환 동안에도 이산 요소가 안정적으로 유지되는 잠재 분포를 학습하며, 이는 분리 학습을 위한 신호로 기능한다.
• 모델이 입력과 불변 잠재 코드 간의 상호정보량을 최대화함으로써 정체성을 다른 요소에서 분리하도록 훈련 목적함수를 유도한다.
• 인위적 클래스 불균형이 존재하는 합성(이미지: MNIST, 3D 카, 3D 의자, ShapeNet) 및 실제 세계(YouTube-Faces) 데이터셋에 이 방법을 적용한다.
• 훈련 중에 클래스 레이블이 필요 없으며, 완전한 비지도 학습을 유지하면서도 분리 성능을 달성한다.

실험 결과

연구 질문

• RQ1 InfoGAN은 클래스 불균형 데이터에서 객체 정체성을 효과적으로 분리할 수 있는가? 만약 그렇지 않다면 실패하는 이유는 무엇인가?
• RQ2 정체성 유지 변환에 대한 불변성은 어떻게 분리 표현 학습의 신호로 활용될 수 있는가?
• RQ3 이산 잠재 요소에 대한 불변성 강제가 표준 InfoGAN 대비 불균형 데이터셋에서 분리 성능을 향상시키는가?
• RQ4 제안된 방법은 다양한 합성 및 실제 세계 데이터셋에 대해, 다양한 정도의 클래스 불균형을 가진 환경에서도 일반화 가능한가?

주요 결과

• Elastic-InfoGAN은 표준 InfoGAN이 실패하는 클래스 불균형 데이터에서 객체 정체성을 저수준 시각적 요소로부터 효과적으로 분리한다.
• 인위적 클래스 불균형이 존재하는 MNIST, 3D 카, 3D 의자, ShapeNet 데이터셋에서 Elastic-InfoGAN은 뛰어난 분리 성능를 달성한다.
• YouTube-Faces 데이터셋에서는 실제 세계의 데이터 불균형과 복잡한 정체성 변동성에도 불구하고 Elastic-InfoGAN이 효과적인 분리를 보였다.
• 정체성 유지 변환에서 유도된 불변 신호는 감독 없이도 안정적인 이산 잠재 요소 학습을 가능하게 한다.
• 실험 결과, 제안된 방법은 불균형 데이터 조건 하에서 표준 InfoGAN보다 분리 품질이 뛰어나다는 것이 확인되었다.
• 기준 불균형 데이터셋에서 최신 기술 수준의 분리 성능를 달성하면서도 비지도 학습을 유지한다.