[논문 리뷰] Adversarial Lipschitz Regularization

Dávid Terjék|Repository of the Academy's Library (Library of the Hungarian Academy of Sciences)|2019. 07. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 21

한 줄 요약

이 논문은 워셔스타인 GAN의 안정적 훈련을 가능하게 하기 위해, 파wer 반복을 통해 적대적 편향을 생성함으로써 립시츠 제약 위반을 명시적으로 페널티 처리하는 새로운 방법인 적대적 립시츠 정규화(Adversarial Lipschitz Regularization, ALR)를 제안한다. ALR는 CIFAR-10에서 최고 성능의 Inception Score와 경쟁적인 Fréchet Inception Distance를 달성하였으며, CelebA-HQ에서 고차원 설정에서도 효과적인 성능을 보였고, 배치 정규화가 적용된 비평가 아키텍처에서 기존의 기울기 페널티보다 뛰어난 성능을 보였다.

ABSTRACT

Generative adversarial networks (GANs) are one of the most popular approaches when it comes to training generative models, among which variants of Wasserstein GANs are considered superior to the standard GAN formulation in terms of learning stability and sample quality. However, Wasserstein GANs require the critic to be 1-Lipschitz, which is often enforced implicitly by penalizing the norm of its gradient, or by globally restricting its Lipschitz constant via weight normalization techniques. Training with a regularization term penalizing the violation of the Lipschitz constraint explicitly, instead of through the norm of the gradient, was found to be practically infeasible in most situations. Inspired by Virtual Adversarial Training, we propose a method called Adversarial Lipschitz Regularization, and show that using an explicit Lipschitz penalty is indeed viable and leads to competitive performance when applied to Wasserstein GANs, highlighting an important connection between Lipschitz regularization and adversarial training.

연구 동기 및 목표

• 비평가 네트워크에 стрict한 립시츠 연속성 강제를 통해 GAN 훈련의 불안정성과 모드 붕괴 문제를 해결하고자 한다.
• 기울기 노름 페널티(예: 기울기 페널티)와 같은 암묵적 방법의 대안으로, 립시츠 위반을 명시적으로 정규화함으로써 유의미한 대체 방법을 개발하고자 한다.
• 가상의 적대적 훈련(Virtual Adversarial Training, VAT)에 영감을 받아, 적대적 훈련과 립시츠 정규화 간의 관계를 탐구하고자 한다.
• 낮은 차원과 높은 차원의 생성 모델링 설정 모두에서 명시적 립시츠 정규화의 효과성을 평가하고자 한다.

제안 방법

• ALR는 각 입력 점 $ x $ 에서 파워 반복을 사용하여 비평가 출력의 변화가 가장 급격한 방향인 적대적 방향 $ r_{\text{adv}} $ 를 계산한다.
• 방향 도함수를 추정하기 위해 반복적 파워 반복을 사용하여 $ r_{\text{adv}} = \arg\max_{\|r\|_2=1} \left| f(x + r) - f(x) \right| $ 를 계산한다.
• 명시적 립시츠 페널티 항은 $ \lambda \cdot \mathbb{E}_{x} \left( \left| \frac{f(x) - f(x + r_{\text{adv}})}{\|r_{\text{adv}}\|_2} - 1 \right|^2 \right) $ 로 정의되며, 단위 기울기에서의 편차를 페널티 처리한다.
• 이 페널티는 WGAN 목표 함수에 통합되어, 기울기 노름 제약이 아닌 직접적인 1-립시츠 연속성 강제를 수행하는 WGAN-ALP를 형성한다.
• 고차원 설정에서는 안정성을 향상시키기 위해 위반의 절대값과 제곱항을 모두 포함한 페널티로 적응한다.
• 이 방법은 CIFAR-10과 CelebA-HQ에서 표준 기울기 페널티 및 기본 WGAN과의 비교를 통해 검증되었다.

실험 결과

연구 질문

• RQ1 적대적 편향을 통한 립시츠 위반의 명시적 정규화가 안정적이고 고품질의 GAN 훈련을 가능하게 할 수 있는가?
• RQ2 표준 벤치마크에서 ALR는 Inception Score와 Fréchet Inception Distance 측면에서 기울기 페널티보다 어떻게 비교되는가?
• RQ3 기울기 페널티가 실패하는 것으로 알려진 배치 정규화가 적용된 비평가 아키텍처에서 ALR는 성능을 유지하는가?
• RQ4 Progressive Growing GAN을 사용한 CelebA-HQ와 같은 고차원 이미지 생성 작업에 ALR를 효과적으로 적용할 수 있는가?
• RQ5 적대적 훈련과 립시츠 정규화 간의 관계는 무엇이며, 이를 통해 모델 일반화를 향상시킬 수 있는가?

주요 결과

• WGAN-ALP는 프로그레시브 그로잉이 아닌 방법 중에서 CIFAR-10에서 최고 성능인 Inception Score 9.41을 달성하였으며, 기본 WGAN 및 WGAN-GP를 모두 초월하였다.
• CelebA-HQ 데이터셋에서 ALP는 Fréchet Inception Distance(FID) 14.65를 기록하였고, 원본 GP 기반 Progressive GAN의 8.69와 비교하여 성능이 뛰어나지만 이 경우 GP를 능가하지는 않았다.
• 기울기 페널티가 실패하는 것으로 알려진 WGAN-BN 설정에서, ALP는 기존의 최고 Inception Score 6.29에서 크게 향상된 8.71을 기록하여 배치 정규화에 대한 강건성을 입증하였다.
• CIFAR-10과 CelebA-HQ 양쪽 모두에서 고품질의 샘플을 성공적으로 생성하였으며, 최고 수준의 모델들과 비교해도 시각적 품질이 유사하였다.
• ALR는 배치 정규화 레이어가 존재하는 실용적 아키텍처에서 경쟁 방법보다 더 효과적인 것으로 나타났다. 이는 실용적 아키텍처에서의 주요 이점으로 여겨진다.
• 양방향 페널티 형식(식 (19))은 일방향 버전보다 안정성이 떨어져, 실질적으로 일방향 정규화가 더 신뢰할 수 있음을 시사한다.