[논문 리뷰] RPGAN: GANs Interpretability via Random Routing

Andrey Voynov, Artem Babenko|arXiv (Cornell University)|2019. 12. 23.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 8

한 줄 요약

RPGAN은 전통적인 노이즈 기반의 확률적 특성 대신 각 생성기 레이어의 다중 병렬 인스턴스를 통해 무작위 라우팅을 도입함으로써 생성된 특징의 비지도 해석 가능성을 가능하게 하는 새로운 GAN 아키텍처를 제안한다. 이 설계는 서로 다른 레이어가 다양한 변동 요인(예: 형태, 색상, 위치)을 포착하고 있음을 드러내며, 경쟁적인 생성 품질을 달성하면서도 전체 재학습 없이도 효율적인 점진적 학습을 가능하게 한다.

ABSTRACT

In this paper, we introduce Random Path Generative Adversarial Network (RPGAN) -- an alternative design of GANs that can serve as a tool for generative model analysis. While the latent space of a typical GAN consists of input vectors, randomly sampled from the standard Gaussian distribution, the latent space of RPGAN consists of random paths in a generator network. As we show, this design allows to understand factors of variation, captured by different generator layers, providing their natural interpretability. With experiments on standard benchmarks, we demonstrate that RPGAN reveals several interesting insights about the roles that different layers play in the image generation process. Aside from interpretability, the RPGAN model also provides competitive generation quality and allows efficient incremental learning on new data.

연구 동기 및 목표

• GAN에 대해 지도 학습이나 사전 학습 모델 없이도 데이터에 종속되지 않는 비지도 해석 가능 도구가 부족한 문제를 해결하기 위해.
• 라벨 데이터나 사전 학습 모델이 필요 없이 개별 생성기 레이어가 이미지 생성에 어떻게 기여하는지 분석할 수 있도록 하기 위해.
• 생성기의 확률적 라우팅 메커니즘에 대한 구조적 수정을 통해 자연스럽게 해석 가능성을 지원하는 GAN 아키텍처를 설계하기 위해.
• 무작위 라우팅을 통해 다중 레이어 인스턴스를 거치면 경쟁적인 생성 품질을 달성하고 효율적인 점진적 학습을 지원할 수 있는지 입증하기 위해.

제안 방법

• RPGAN은 표준적인 가우시안 노이즈 입력을 대체하여 추론 시 각 생성기 레이어의 다중 병렬 복제본 중 하나를 무작위로 선택하는 라우팅 메커니즘을 도입한다.
• 각 생성기 레이어는 동일하지만 독립적으로 훈련된 레이어 인스턴스가 담긴 '버킷'으로 구현되며, 각 순전파 단계에서 랜덤 라우팅을 통해 오직 하나의 인스턴스만 선택된다.
• 모델은 판별기의 진짜 이미지와 무작위 라우팅을 통해 생성된 이미지를 구분하는 적대적 손실을 사용하는 표준 GAN 프레임워크에서 훈련된다.
• 해석 가능성은 개별 레이어 인스턴스의 행동을 분석함으로써 달성된다: 인스턴스 간 일관된 출력은 안정된 학습된 특징을 나타내며, 변동은 특정 변동 요인을 드러낸다.
• 새로운 레이어 인스턴스를 추가하고 오직 그들만 미세조정함으로써 점진적 학습을 지원한다. 이는 전체 재학습을 피할 수 있다.
• 놀라운 발견은 비선형성 없이도 선형 변환만으로도 고품질의 이미지 생성이 가능하며, 이는 행렬 압축을 통한 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 라벨 데이터나 사전 학습 모델 없이도 개별 생성기 레이어가 GAN에서 수행하는 역할을 어떻게 해석할 수 있는가?
• RQ2 다중 레이어 인스턴스를 통한 무작위 라우팅이 이미지 생성에서 변동 요인을 자연스럽게 분리하는 데 기여할 수 있는가?
• RQ3 RPGAN 아키텍처는 해석 가능성과 효율적인 점진적 학습을 지원하면서도 경쟁적인 생성 품질을 유지하는가?
• RQ4 비선형성이 없는 GAN 생성기 모델도 효과적으로 훈련될 수 있으며, 이는 추론 속도 향상과 모델 압축에 어떤 영향을 미치는가?

주요 결과

• RPGAN은 서로 다른 생성기 레이어가 객체의 형태, 색상, 공간적 배치와 같은 다양한 변동 요인을 담당하고 있음을 성공적으로 드러내었으며, 이는 지도 학습 방법의 결과와 일치하지만 레이블이 필요로 하지 않는다.
• 비선형성이 없는 완전 연결 생성기로 CIFAR-10에서 Fréchet Inception Distance (FID) 22.79를 달성하여 경쟁적인 생성 품질을 입증하였다.
• MNIST에서 사전 훈련된 부분 집합 후에 레이어 인스턴스 10개만 추가로 훈련함으로써 점진적 학습을 달성하였으며, 이는 전체 데이터셋에 대해 일반화된 모델을 최소한의 재학습으로 구현하였다.
• 무작위 제품 조합을 통해 완전 연결 레이어의 시퀀스를 단일 선형 변환으로 압축함으로써 RPGAN은 추론 시간에 2.2배의 속도 향상을 달성하였고, 이미지 다양성에 큰 손실 없이도 성능을 유지하였다.
• 무작위 라우팅 메커니즘은 생성기 내부 표현의 자연스러운 해석 가능성을 가능하게 하여, 특정 이미지 속성에 기여하는 레이어 인스턴스를 식별할 수 있게 하였다.