[논문 리뷰] Semi-Supervised StyleGAN for Disentanglement Learning

Weili Nie, Tero Karras외 5명|arXiv (Cornell University)|2020. 03. 06.

Digital Media Forensic Detection참고 문헌 30인용 수 14

한 줄 요약

이 논문은 스타일 제너레이터 기반의 준지도 학습 생성 모델인 Semi-StyleGAN을 제안하며, 고해상도의 합성 및 실사 이미지에서 레이블이 0.25%~2.5%에 불과한 데이터로도 완전 지도 학습 수준의 분리 표현 품질을 달성한다. 상호정보 손실과 제너레이터 제어성에 대한 새로운 평가 지표를 통합함으로써, 분리 표현 학습과 제어 가능한 생성 간의 핵심적인 상충 관계를 드러내며, 일반화 가능한 세밀한 이미지 편집을 가능하게 한다.

ABSTRACT

Disentanglement learning is crucial for obtaining disentangled representations and controllable generation. Current disentanglement methods face several inherent limitations: difficulty with high-resolution images, primarily focusing on learning disentangled representations, and non-identifiability due to the unsupervised setting. To alleviate these limitations, we design new architectures and loss functions based on StyleGAN (Karras et al., 2019), for semi-supervised high-resolution disentanglement learning. We create two complex high-resolution synthetic datasets for systematic testing. We investigate the impact of limited supervision and find that using only 0.25%~2.5% of labeled data is sufficient for good disentanglement on both synthetic and real datasets. We propose new metrics to quantify generator controllability, and observe there may exist a crucial trade-off between disentangled representation learning and controllable generation. We also consider semantic fine-grained image editing to achieve better generalization to unseen images.

연구 동기 및 목표

• 비지도 학습 기반의 분리 표현 학습 방법의 한계, 즉 식별 불가능성과 고해상도 이미지에 대한 낮은 확장성 문제를 해결하기 위해.
• 제너레이터 수준의 분리 표현 품질 평가를 통해 분리 표현 학습과 제어 가능한 이미지 생성 간 격차를 해소하기 위해.
• 최소한의 지도 학습 데이터로 복잡한 고해상도 데이터셋에서 준지도 학습 기반의 분리 표현 학습을 가능하게 하기 위해.
• 세밀한 의미적 이미지 편집을 통해 새로운 이미지로의 일반화를 가능하게 하는 방법을 개발하기 위해.
• 분리 표현 연구의 기준으로 사용할 수 있는 고품질, 고해상도의 합성 데이터셋을 새롭게 구축하기 위해.

제안 방법

• 비지도 학습 기반의 분리 표현 성능 향상을 위해 스타일 제너레이터에 상호정보 손실을 통합한 Info-StyleGAN 개선.
• 제한된 레이블 데이터에 대해 비지도 GAN 손실과 지도 학습 기반의 대비 손실을 융합한 하이브리드 학습 목표를 갖는 Semi-StyleGAN 제안.
• 세밀한 스타일 제어를 가능하게 하기 위해 하위 해상도 블록을 새로운 입력 블록으로 대체한 수정된 제너레이터 아키텍처인 Semi-StyleGAN-fine 설계.
• 입력 이미지의 32×32 크기로 다운샘플링된 버전에서부터 세밀한 인자 코드를 예측하도록 인코더 학습.
• 제너레이터의 제어 가능성과 분리 표현 품질을 정량화하기 위해 새로운 평가 지표인 MIG-gen과 L2-gen 도입.
• 일반화된 새로운 테스트 이미지에 대해 의미적 세밀한 이미지 편집이 가능한 이미지 간 변환 설정으로 모델 확장.

실험 결과

연구 질문

• RQ1 준지도 학습이 고해상도 이미지에서 극히 적은 레이블 데이터로도 분리 표현 품질을 크게 향상시킬 수 있는가?
• RQ2 분리 표현의 품질이 제너레이터의 제어 가능성과 상관관계가 있는가, 아니면 근본적인 상충 관계가 존재하는가?
• RQ3 세밀한 제어 기능을 갖춘 준지도 학습 기반의 스타일 제너레이터 기반 모델이 잠재 공간 탐색 중에 새로운 이미지로 일반화 가능한가?
• RQ4 MIG-gen과 L2-gen과 같은 새로운 평가 지표가 기존의 인코더 기반 평가 지표에 비해 분리 표현 평가에서 어떻게 비교되는가?
• RQ5 제한된 지도 학습 데이터(0.25%~2.5%)로 완전 지도 학습 수준의 성능에 가까운 결과를 달성할 수 있는가?

주요 결과

• Info-StyleGAN은 고해상도 데이터에서 대부분의 최신 비지도 분리 표현 학습 방법보다 뛰어난 분리 표현 품질을 달성한다.
• Semi-StyleGAN은 합성 및 실사 데이터셋 모두에서 레이블 데이터가 0.25%에서 2.5%에 불과한 상황에서도 완전 지도 학습 수준의 분리 표현 품질을 달성한다.
• 제안된 MIG-gen과 L2-gen 평가 지표는 분리 표현 학습과 제어 가능한 이미지 생성 간의 핵심적인 상충 관계를 드러낸다.
• Semi-StyleGAN-fine는 레이블 데이터가 1%에 불과한 상황에서도 새로운 테스트 이미지에 대해 일반화된 세밀한 이미지 편집을 가능하게 하며, 정체성 유지와 고해상도 이미지 품질을 유지한다.
• 레이블 데이터 비율을 1% 초과로 늘려도 성능 향상이 눈에 띄지 않으며, 이는 샘플 효율성의趋세에 도달했음을 시사한다.
• 이 방법은 새로운 로봇 위치나 Isaac3D에서의 새로운 객체, 그리고 CelebA에서의 새로운 얼굴 정체성 등 새로운 콘텐츠로도 잘 일반화된다.