[논문 리뷰] Generative Adversarial Network using Perturbed-Convolutions.

Seung Park, Yoon-Jae Yeo외 1명|arXiv (Cornell University)|2021. 01. 19.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 GAN 훈련을 안정화하기 위해 컨볼루션 이전에 입력 텐서를 무작위로 왜곡하는 새로운 컨볼루션 레이어인 퍼티urbed-convolution (PConv)을 제안한다. 이는 디세리미네이터 과적합을 줄이고 소규모 국소 리프시츠 값의 유도를 가능하게 하여, FID 점수를 tiny-ImageNet에서 기준 GAN 모델의 58.59에서 50.42로 8.17점 향상시킨다.

ABSTRACT

Despite growing insights into the GAN training, it still suffers from instability during the training procedure. To alleviate this problem, this paper presents a novel convolutional layer, called perturbed-convolution (PConv), which focuses on achieving two goals simultaneously: penalize the discriminator for training GAN stably and prevent the overfitting problem in the discriminator. PConv generates perturbed features by randomly disturbing an input tensor before performing the convolution operation. This approach is simple but surprisingly effective. First, to reliably classify real and generated samples using the disturbed input tensor, the intermediate layers in the discriminator should learn features having a small local Lipschitz value. Second, due to the perturbed features in PConv, the discriminator is difficult to memorize the real images; this makes the discriminator avoid the overfitting problem. To show the generalization ability of the proposed method, we conducted extensive experiments with various loss functions and datasets including CIFAR-10, CelebA-HQ, LSUN, and tiny-ImageNet. Quantitative evaluations demonstrate that WCL significantly improves the performance of GAN and conditional GAN in terms of Frechet inception distance (FID). For instance, the proposed method improves FID scores on the tiny-ImageNet dataset from 58.59 to 50.42.

연구 동기 및 목표

• 특히 디세리미네이터에서 발생하는 불안정성과 과적합 문제를 해결하기 위해.
• 다양한 데이터셋과 손실 함수에서 GAN의 일반화 능력과 강건성을 향상시키기 위해.
• 구조적 복잡성 없이도 효과적인 훈련 안정성을 높일 수 있는 단순하면서도 효과적인 컨볼루션 레이어를 설계하기 위해.
• 입력 수준의 편향을 도입하여 디세리미네이터가 실제 이미지를 기억하는 경향을 줄이기 위해.
• 최소한의 수정으로도 다양한 벤치마크 데이터셋에서 최신 기준 FID 성능을 달성하기 위해.

제안 방법

• 퍼티urbed-convolution (PConv)은 표준 컨볼루션 연산을 수행하기 전에 입력 텐서에 무작위 편향을 적용한다.
• 편향은 각 순전파마다 독립적으로 적용되며, 이로 인해 디세리미네이터가 소규모 입력 변형에 대해 불변인 특징을 학습하게 된다.
• 이를 통해 디세리미네이터의 중간 레이어가 작은 국소 리프시츠 상수를 가진 표현을 학습하게 되어 안정성이 향상된다.
• 무작위 편향은 정규화 역할을 하여 실제 이미지의 기억을 줄이고 과적합을 완화한다.
• 이 방법은 WGAN 및 조건부 GAN을 포함한 다양한 GAN 아키텍처와 손실 함수와 호환된다.
• PConv는 플러그 앤 플레이 방식이며, 생성자에 대한 수정이 필요 없고 디세리미네이터의 수정도 최소한으로 유지된다.

실험 결과

연구 질문

• RQ1 컨볼루션 중에 무작위 입력 편향을 도입하면 GAN 훈련의 안정성이 향상되는가?
• RQ2 PConv는 실제 이미지의 기억을 방지함으로써 디세리미네이터 과적합을 줄이는가?
• RQ3 PConv는 CIFAR-10, CelebA-HQ, LSUN 및 tiny-ImageNet과 같은 다양한 데이터셋에서 일반화 능력을 향상시키는가?
• RQ4 표준 GAN 모델 대비 PConv가 FID 점수를 얼마나 향상시키는가?
• RQ5 PConv는 다양한 손실 함수와 조건부 GAN 설정에서 어떻게 성능을 발휘하는가?

주요 결과

• PConv는 모드 붕괴와 손실 발산을 줄여 GAN 훈련의 안정성을 크게 향상시킨다.
• PConv는 tiny-ImageNet에서 FID 점수를 기준 모델의 58.59에서 50.42로 낮춰 강력한 성능 향상을 보였다.
• PConv는 다양한 손실 함수 하에서 CIFAR-10, CelebA-HQ 및 LSUN을 포함한 모든 평가된 데이터셋에서 FID 점수를 향상시켰다.
• 입력 수준의 편향 덕분에 PConv로 훈련된 디세리미네이터는 실제 이미지의 기억 경향이 감소했다.
• 무조건적 및 조건부 GAN 설정 모두에서 FID 향상은 일관되게 관찰되었다.
• 최소한의 아키텍처 수정과 추가 하이퍼파라미터 없이도 PConv는 최신 기준 FID 성능을 달성했다.