[논문 리뷰] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

Alec Radford, Luke Metz외 1명|arXiv (Cornell University)|2015. 11. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 6,984

한 줄 요약

깊은 합성곱 GAN의 안정적 학습을 가능하게 하는 구조적 제약을 가진 DCGAN을 도입; 판별기/생성기가 비지도 및 지도 작업에 사용할 수 있는 계층적 이미지 표현을 학습함을 시연하고, 잠재 공간 연산 및 시각화를 탐구한다.

ABSTRACT

In recent years, supervised learning with convolutional networks (CNNs) has seen huge adoption in computer vision applications. Comparatively, unsupervised learning with CNNs has received less attention. In this work we hope to help bridge the gap between the success of CNNs for supervised learning and unsupervised learning. We introduce a class of CNNs called deep convolutional generative adversarial networks (DCGANs), that have certain architectural constraints, and demonstrate that they are a strong candidate for unsupervised learning. Training on various image datasets, we show convincing evidence that our deep convolutional adversarial pair learns a hierarchy of representations from object parts to scenes in both the generator and discriminator. Additionally, we use the learned features for novel tasks - demonstrating their applicability as general image representations.

연구 동기 및 목표

• 지도 학습 CNN의 성공과 비지도 학습 사이의 차이를 해소하기 위해 안정적인 DCGAN 아키텍처를 제안한다.
• DCGAN이 생성기와 판별기 모두에서 계층적 표현을 학습함을 입증한다.
• DCGAN에서 학습된 특징이 이미지 분류와 같은 지도 학습 작업으로 전이되어 경쟁력 있는 성능을 보임을 보여준다.

제안 방법

• 안정성을 위한 세 가지 아키텍처 제약을 채택한다: (1) 풀링을 스트라이드 합성곱/프랙스트라이드 합성곱으로 대체, (2) 배치 정규화를 신중하게 배치, (3) 더 깊은 네트워크를 가능하게 하기 위해 완전히 연결된 계층 제거.
• LSUN, ImageNet-1k, 그리고 얼굴 데이터셋에 대해 SGD(배치 크기 128)와 Adam 옵티마이저(lr 0.0002, beta1 0.5)를 사용하여 DCGAN을 학습한다.
• 생성기에는 ReLU를, 출력에는 Tanh를 사용하고; 판별기에는 LeakyReLU를 사용한다; 안정성과 수렴의 균형을 맞추기 위해 전역 평균 풀링을 선택적으로 적용한다.

실험 결과

연구 질문

• RQ1 DCGAN 아키텍처를 깊고 고해상도 이미지 모델링에 대해 안정화할 수 있는가?
• RQ2 비지도 DCGAN이 지도 작업에 유용한 전이 가능한 이미지 표현을 학습하는가?
• RQ3 비지도 DCGAN에서 어떤 잠재 공간 및 내부 특징 속성이 나타나는가?
• RQ4 생성 샘플과 잠재 공간 조작이 학습된 의미 구조를 어떻게 반영하는가?

주요 결과

모델	정확도	정확도 (클래스당 400개)	최대 특징 단위 수
K-means (1 Layer)	80.6%	63.7%	4800
3 Layer K-means Learned RF	82.0%	70.7%	3200
View Invariant K-means	81.9%	72.6%	6400
Exemplar CNN	84.3%	77.4%	1024
DCGAN (ours) + L2-SVM	82.8%	73.8%	512

• 제시된 제약으로 학습된 DCGAN은 데이터셋 전반에 걸쳐 안정적인 학습을 제공하고 규모 확장 시 더 높은 품질의 이미지를 생성한다.
• 판별기 컨볼루션 특징을 고정 피처 추출기로 사용하고 선형 분류기를 결합하면 비지도에서 지도 전이 성능이 경쟁력을 갖게 된다(예: DCGAN 피처를 사용한 CIFAR-10에서 82.8% 정확도).
• DCGAN 피처는 그들의 설정 하에서 SVHN에서 1000개의 라벨 샘플에 대해 최첨단 성능(테스트 오차 22.48%)을 달성하며 여러 대조 방법보다 우수함.
• Guided backpropagation은 학습된 판별기 피처가 의미적으로 중요한 침실 구성요소(침대, 창문 등)에 활성화됨을 보여준다.
• 잠재 공간 산술 및 조작은 벡터 연산이 의미적 변화(예: 얼굴의 포즈 변화, 창문 제거와 같은 물체 변화)에 대응함을 보여주어 해제 가능한 표현을 시사한다.