[논문 리뷰] Stabilizing GANs with Octave Convolutions.

Ricard Durall, Franz‐Josef Pfreundt외 1명|arXiv (Cornell University)|2019. 05. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 7

한 줄 요약

이 논문은 컨volution 필터를 고주파 및 저주파 성분으로 분해하고, 저주파에서 고주파로 가중치 업데이트를 이동시킴으로써 CNN 기반 GAN의 훈련을 안정화시키는 새로운 기법인 옥타브 컨볼루션을 제안한다. 이는 생성자가 먼저 근본적인 이미지 구조를 학습한 후 세부 사항을 정교화하도록 유도하여, 모드 붕괴를 효과적으로 줄이고 다양한 GAN 아키텍처에서 훈련 안정성을 향상시킨다.

ABSTRACT

In this preliminary report, we present a simple but very effective technique to stabilize the training of CNN based GANs. Motivated by recently published methods using frequency decomposition of convolutions (e.g. Octave Convolutions), we propose a novel convolution scheme to stabilize the training and reduce the likelihood of a mode collapse. The basic idea of our approach is to split convolutional filters into additive high and low frequency parts, while shifting weight updates from low to high during the training. Intuitively, this method forces GANs to learn low frequency coarse image structures before descending into fine (high frequency) details. Our approach is orthogonal and complementary to existing stabilization methods and can simply plugged into any CNN based GAN architecture. First experiments on the CelebA dataset show the effectiveness of the proposed method.

연구 동기 및 목표

• CNN 기반 GAN에서 지속적인 훈련 불안정성, 특히 모드 붕괴와 수렴 불량 문제를 해결하기 위해.
• 컨볼루션 필터의 주파수 분해가 GAN의 학습 역학을 향상시킬 수 있는지 탐색하기 위해.
• 기존 GAN 안정화 기법과의 호환성을 유지하면서 아키텍처의 대대적 개편 없이도 간편하고 즉시 적용 가능한 방법을 개발하기 위해.
• 저주파에서 고주파 성분으로의 가중치 업데이트 이동이 생성자 내 계층적 특징 학습을 어떻게 촉진하는지 평가하기 위해.

제안 방법

• 기존의 표준 컨볼루션 필터를 옥타브 기반 주파수 분해를 통해 저주파 및 고주파 성분으로 분해한다.
• 훈련 중에 가중치 업데이트가 먼저 저주파 성분에 적용된 후 고주파 성분으로 이동된다.
• 이로 인해 근본적인 이미지 구조가 세부 사항이 정교화되기 이전에 학습되는 계층적 학습 과정이 만들어진다.
• 기존의 GAN 훈련 기법과 수직이 되도록 설계되어 있어 어떤 CNN 기반 GAN 아키텍처에도 원활하게 통합될 수 있다.
• 주파수 인식 최적화를 가능하게 하면서도 계산 효율성을 유지하는 수정된 컨볼루션 레이어를 통해 주파수 분해를 구현한다.

실험 결과

연구 질문

• RQ1 컨볼루션 필터의 주파수 분해가 GAN의 훈련 안정성 향상에 기여하는가?
• RQ2 저주파 성분에서 고주파 성분으로의 가중치 업데이트 이동이 GAN의 모드 붕괴를 감소시키는가?
• RQ3 이 방법이 아키텍처 변경 없이 다양한 CNN 기반 GAN 아키텍처에 효과적으로 적용될 수 있는가?
• RQ4 저주파에서 고주파로의 계층적 특징 학습이 생성된 이미지의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• 제안된 옥타브 컨볼루션 기법은 CNN 기반 GAN에서 훈련 안정성을 크게 향상시켜 모드 붕괴 발생 가능성을 줄였다.
• CelebA 데이터셋에서의 실험 결과, 이 기법이 다양한 GAN 아키텍처에서 훈련을 효과적으로 안정화시킴을 입증했다.
• 이 기법은 생성자가 세부 사항을 정교화하기 전에 근본적인 이미지 구조를 학습하도록 유도하여 더 일관되고 다양한 샘플을 생성할 수 있도록 했다.
• 이 방법은 기존의 GAN 훈련 기법과 호환되며, 어떤 CNN 기반 GAN 프레임워크에도 원활하게 통합될 수 있다.