[논문 리뷰] Improving GAN Training via Feature Space Shrinkage

Haozhe Liu, Wentian Zhang외 7명|arXiv (Cornell University)|2023. 03. 02.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 GAN 훈련을 안정화하고 생성 이미지 품질을 향상시키기 위해 진짜 이미지의 특징 공간을 판별기의 표현 공간에서 축소시키는 간단하면서도 효과적인 모듈인 AdaptiveMix을 제안한다. 이미지 혼합을 통해 하드 샘플을 구성하고, 이를 쉽게 만든 샘플과의 거리를 줄임으로써 AdaptiveMix는 훈련을 안정화시키고, 다양한 GAN 아키텍처에서 최신 기술 수준의 성능을 달성하며, 이미지 분류 및 OOD 탐지로의 일반화도 가능하다.

ABSTRACT

Due to the outstanding capability for data generation, Generative Adversarial Networks (GANs) have attracted considerable attention in unsupervised learning. However, training GANs is difficult, since the training distribution is dynamic for the discriminator, leading to unstable image representation. In this paper, we address the problem of training GANs from a novel perspective, \emph{i.e.,} robust image classification. Motivated by studies on robust image representation, we propose a simple yet effective module, namely AdaptiveMix, for GANs, which shrinks the regions of training data in the image representation space of the discriminator. Considering it is intractable to directly bound feature space, we propose to construct hard samples and narrow down the feature distance between hard and easy samples. The hard samples are constructed by mixing a pair of training images. We evaluate the effectiveness of our AdaptiveMix with widely-used and state-of-the-art GAN architectures. The evaluation results demonstrate that our AdaptiveMix can facilitate the training of GANs and effectively improve the image quality of generated samples. We also show that our AdaptiveMix can be further applied to image classification and Out-Of-Distribution (OOD) detection tasks, by equipping it with state-of-the-art methods. Extensive experiments on seven publicly available datasets show that our method effectively boosts the performance of baselines. The code is publicly available at https://github.com/WentianZhang-ML/AdaptiveMix.

연구 동기 및 목표

• 판별기의 잠재 공간에서 동적이고 산만한 특징 표현으로 인해 발생하는 GAN 훈련의 불안정성 문제를 해결하기 위해.
• 판별기의 특징 공간에서 진짜 훈련 데이터가 占지하는 영역을 명시적으로 축소시킴으로써 GAN 훈련을 향상시키기 위해.
• 샘플 혼합을 통해 특징 공간의 뭉치기 정도를 제어하면 훈련 안정성과 생성 품질 향상에 기여할 수 있는지 탐색하기 위해.
• 제안된 방법이 GAN을 넘어서서 강건한 이미지 분류 및 분포 외(OOD) 탐지와 같은 작업으로 일반화될 수 있는지 증명하기 위해.
• 아키텍처 수정 없이도 고성능을 달성할 수 있는 즉시 사용 가능한 모듈을 제공하기 위해.

제안 방법

• AdaptiveMix는 베타 분포로 정의된 혼합 계수를 사용해 진짜 훈련 이미지의 쌍을 선형으로 혼합하여 하드 샘플을 구성한다.
• 이 방법은 판별기의 특징 공간에서 혼합 샘플의 특징 표현과 해당 진짜 이미지의 특징 표현 간의 L2 거리를 최소화한다.
• 이 거리 최소화는 진짜 데이터가 占지하는 특징 공간을 효과적으로 축소시켜, 뭉치고 강건한 표현을 촉진한다.
• 이 모듈은 미분 가능하며, 기존의 GAN 프레임워크에 즉시 통합 가능한 플러그인 컴ponent로 활용할 수 있다.
• 특징 공간의 확장을 제약함으로써 암묵적으로 리프시츠 연속성을 근사함으로써 판별기의 강건성을 향상시킨다.
• AdaptiveMix는 훈련 중에 학습 가능한 노이즈 항목과 베타 분포의 매개변수 α를 사용하여 혼합 강도를 제어한다.

실험 결과

연구 질문

• RQ1 판별기의 표현 공간에서 진짜 이미지의 특징 공간을 축소시키면 GAN 훈련의 안정성과 이미지 품질 향상에 기여할 수 있는가?
• RQ2 이미지 혼합을 통해 하드 샘플을 구성하고, 이를 진짜 샘플과의 거리를 줄이면 더 뭉치고 강건한 특징 표현이 만들어지는가?
• RQ3 AdaptiveMix는 GAN을 넘어서 이미지 분류 및 OOD 탐지 작업 등으로 일반화될 수 있는가?
• RQ4 성능 및 효율성 측면에서 기존의 데이터 증강 및 정규화 기법과 비교해 AdaptiveMix는 어떠한가?
• RQ5 예를 들어 노이즈의 σ, 베타 분포의 α와 같은 하이퍼파라미터 설정은 다양한 데이터셋과 모델에서 최적의 성능을 내기 위해 어떤 것이 적합한가?

주요 결과

• CIFAR-100에서 기준 모델인 Manifold Mixup 대비 FID 점수를 최대 17.38% 향상시켰으며, 절대적 개선 폭은 7%였다.
• Tiny-ImageNet에서 정상 이미지 인식 작업에서 기준 모델 대비 3%p의 절대적 정확도 향상을 기록했으며, 60.59% vs. 57.23%였다.
• OOD 탐지에서 '1DS w/o MC'의 F1 점수를 TIN-C에서 0.890에서 0.922로 향상시켜, MC 샘플링 방법의 성능을 낮은 계산 비용으로 달성했다.
• 최적의 하이퍼파라미터는 노이즈의 σ = 0.05와 베타 분포의 α = 1.0이며, 이는 모든 평가된 작업에서 최고의 성능을 내는 데 기여했다.
• AdaptiveMix는 CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet 포함 7개의 공개 데이터셋에서 상태 기술 수준의 모델을 일관되게 향상시켰으며, 이미지 생성, 분류, OOD 탐지 전반에 걸쳐 성능 향상을 보였다.
• 손상된 데이터 및 분포 외 데이터에서의 성능 향상으로 인해, 이는 강건성과 일반화 능력 향상에 기여함을 입증했다.