[논문 리뷰] Robust GANs against Dishonest Adversaries

Zhi Xu, Chengtao Li외 1명|arXiv (Cornell University)|2018. 02. 27.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 3

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN)의 내부 적대적 간섭에 기반한 새로운 강건성 개념을 제안하며, 기존 GAN 모델이 이러한 노이즈에 매우 민감함을 보임을 보여준다. 이는 이론적으로 강건성을 보장하는 조건을 유도하고, WGAN에 영향을 받은 새로운 GAN 가족을 제안하여 안정성 향상과 정규화 필요성 감소를 달성하며, 실험적으로 이러한 모델이 내부 피드백 손상에 더 강건함을 검증한다.

ABSTRACT

Robustness of deep learning models is a property that has recently gained increasing attention. We explore a notion of robustness for generative adversarial models that is pertinent to their internal interactive structure, and show that, perhaps surprisingly, the GAN in its original form is not robust. Our notion of robustness relies on a perturbed discriminator, or noisy, adversarial interference with its feedback. We explore, theoretically and empirically, the effect of model and training properties on this robustness. In particular, we show theoretical conditions for robustness that are supported by empirical evidence. We also test the effect of regularization. Our results suggest variations of GANs that are indeed more robust to noisy attacks and have more stable training behavior, requiring less regularization in general. Inspired by our theoretical results, we further extend our framework to obtain a class of models related to WGAN, with good empirical performance. Overall, our results suggest a new perspective on understanding and designing GAN models from the viewpoint of their internal robustness.

연구 동기 및 목표

• 생성적 적대적 네트워크(GAN)의 내부 적대적 간섭에 기반한 새로운 강건성 개념을 정식화하기 위해.
• 이러한 교란에 대해 GAN 모델이 강건해지는 이론적 조건을 규명하기 위해.
• 노이즈가 있는 피드백 하에서 수정된 GAN 아키텍처의 강건성을 실험적으로 검증하기 위해.
• 기존 프레임워크를 WGAN 유사 모델의 새로운 클래스로 확장하여 학습 안정성을 향상시키고 정규화 필요성을 줄이기 위해.

제안 방법

• 일정 확률로 판별기의 신호가 손상된 상태에서 생성기가 피드백을 받는 교란된 피드백 메커니즘을 도입한다.
• 이러한 피드백 교란에 대한 생성기 학습의 안정성에 기반한 강건성 기준을 정의한다.
• 강건성을 보장하는 목적 함수 조건을 도출하며, 이는 Ĥ 내의 엄격히 증가하는, 기함수인 함수 f_D 및 f_G를 통해 유도된다.
• Ĥ에서의 함수 f_D 및 f_G를 사용하는 일반화된 GAN 프레임워크를 제안하며, 이는 선형 및 WGAN 유사 손실을 포함한다.
• 판별기 목적 함수에 기울기 보정(WGAN-GP 방식)을 적용하여 리프시츠 연속성 조건을 강제한다.
• 정규화가 필요 없는 표준 학습 절차를 사용하며, WGAN-GP와 동일한 하이퍼파rameter와 Adam 옵timizer를 적용하여 공정한 실험적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기존 GAN 아키텍처는 판별기의 피드백 신호에 작은 적대적 교란이 가해질 경우 강건한가?
• RQ2 GAN의 목적 함수에 대해 내부 피드백 손상에 강건성을 보장하는 이론적 조건은 무엇인가?
• RQ3 이론적 강건성 조건을 활용하여 학습 안정성이 향상된 새로운 GAN 아키텍처를 설계할 수 있는가?
• RQ4 이론적 강건성 조건을 기반으로 한 모델은 기존 GAN보다 정규화가 적게 필요한가?
• RQ5 제안된 강건한 GAN 모델은 학습 안정성과 성능 측면에서 WGAN-GP 및 기존 GAN과 비교해 실제로 어떻게 성능을 내는가?

주요 결과

• 기존 GAN은 판별기 피드백에 작은 교란이 가해져도 강건하지 않으며, 많은 경우 학습이 실패한다.
• 선형 또는 WGAN 유사 손실을 사용하는 모델—특히 Ĥ 내의 f_D 및 f_G를 사용하는 모델—는 이론적으로나 실험적으로 피드백 노이즈에 더 강건하다.
• 제안된 강건한 GAN 프레임워크는 기존 GAN보다 정규화가 크게 줄어든 상태에서도 안정적인 학습을 달성한다.
• 실험 결과, 제안된 모델은 모드 붕괴 없이 다양성이 높은 숫자(예: MNIST) 생성에 더 높은 성공률을 기록한다.
• 제안 프레임워크에 기울기 보정을 추가함으로써 안정성이 유지되고 성능이 향상되며, inception 점수는 학습 반복 과정에서 일관되게 증가한다.
• 이 프레임워크는 존재하는 WGAN-GP 구현과 원활하게 통합되며, 최소한의 코드 수정으로 구현이 가능하다.