[논문 리뷰] Attacks and Defenses for Free-Riders in Multi-Discriminator GAN

Zilong Zhao, Jiyue Huang외 2명|arXiv (Cornell University)|2022. 01. 24.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 다중 판별자 GAN(MD-GANs)에서 공격자가 자체 판별자 훈련에 기여하지 않고 전역 생성자만 사용함으로써 훈련을 우회하는 자유기생 공격을 제안한다. 이 공격는 모델 파라미터의 가시성과 그래디언트 집계를 악용하며, 모델 교환 기능을 제공하는 MD-GAN-Swap가 더 높은 취약성을 보인다. 방어 메커니즘은 자유기생자를 탐지하는 데까지 최대 90.74%의 정밀도를 달성하지만, 공격자가 많아질수록 성능이 저하된다.

ABSTRACT

Generative Adversarial Networks (GANs) are increasingly adopted by the industry to synthesize realistic images. Due to data not being centrally available, Multi-Discriminator (MD)-GANs training framework employs multiple discriminators that have direct access to the real data. Distributedly training a joint GAN model entails the risk of free-riders, i.e., participants that aim to benefit from the common model while only pretending to participate in the training process. In this paper, we conduct the first characterization study of the impact of free-riders on MD-GAN. Based on two production prototypes of MD-GAN, we find that free-riders drastically reduce the ability of MD-GANs to produce images that are indistinguishable from real data, i.e., they increase the FID score -- the standard measure to assess the quality of generated images. To mitigate the model degradation, we propose a defense strategy against free-riders in MD-GAN, termed DFG. DFG distinguishes free-riders and benign participants through periodic probing and clustering of discriminators' responses based on a reference response of free-riders, which then allows the generator to exclude the detected free-riders from the training. Furthermore, we extend our defense, termed DFG+, to enable discriminators to filter out free-riders at the variant of MD-GAN that allows peer exchanges of discriminators networks. Extensive evaluation on various scenarios of free-riders, MD-GAN architecture, and three datasets show that our defenses effectively detect free-riders. With 1 to 5 free-riders, DFG and DFG+ averagely decreases FID by 5.22% to 11.53% for CIFAR10 and 5.79% to 13.22% for CIFAR100 in comparison to an attack without defense. In a shell, the proposed DFG(+) can effectively defend against free-riders without affecting benign clients at a negligible computation overhead.

연구 동기 및 목표

• 다중 판별자 GAN에서 클라이언트가 판별자 훈련에 기여하지 않고도 전역 생성자로부터 이익을 얻는 자유기생 공격의 가능성과 영향을 조사하기 위해.
• MD-GAN-Simple, MD-GAN-Swap, MD-GAN-Switch와 같은 다양한 MD-GAN 프레임워크가 자유기생 공격에 얼마나 취약한지 평가하기 위해.
• 분산 GAN 훈련에서 자유기생 행동을 탐지하고 방지하는 데 목표를 둔 방어 기법을 설계하고 평가하기 위해.
• 자유기생자의 수가 증가함에 따라 모델 품질(FID로 측정)과 방어 정확도가 어떻게 저하되는지 정량화하기 위해.

제안 방법

• 공격자는 다른 판별자로부터 생성자 파라미터와 그래디언트를 관찰하여, 자신의 판별자를 훈련시키지 않고도 가짜 샘플을 생성한다.
• MD-GAN-Swap에서는 피어 투 피어 모델 교환 기능을 활용하여 훈련 부족을 가림으로써 활성 클라이언트를 위장할 수 있다.
• 방어 기법은 라운드 간 판별자 행동을 모니터링하며, 다양한 데이터 입력 하에서의 성능 불일치나 파라미터 이동을 통해 이상 징후를 탐지한다.
• MD-GAN-Swap의 경우, 방어 기법은 파라미터 차이 분석과 행동 일관성 검사의 조합을 사용하여 자유기생자를 식별한다.
• 시스템은 공유된 생성자와 각 클라이언트별 국지적 판별자로 초기화되며, 그래디언트 집계를 통해 생성자 업데이트가 이루어지는 라운드 단위로 훈련이 진행된다.
• 방어 기법은 표 형태 및 이미지 데이터셋(MNIST, CIFAR10, CIFAR100)을 사용하여 정밀도, 재현율, 그리고 거짓 양성/음성 비율을 평가한다.

실험 결과

연구 질문

• RQ1 자유기생자가 존재할 경우 MD-GAN 프레임워크에서 FID 점수와 훈련 품질에 어떤 영향을 미치는가?
• RQ2 모델 교환(MD-GAN-Swap)이 자유기생 공격의 탐지 가능성과 성공률에 어떤 영향을 미치는가?
• RQ3 행위 기반 및 파라미터 기반 이상 탐지 기법이 다중 판별자 GAN에서 자유기생자를 효과적으로 식별할 수 있는가?
• RQ4 자유기생자의 수가 정밀도와 재현율 측면에서 방어 기법의 성능에 어떤 영향을 미치는가?
• RQ5 다양한 훈련 전략(MD-GAN-Simple, MD-GAN-Swap, MD-GAN-Switch)이 자유기생 공격에 대한 내성에서 어떻게 비교되는가?

주요 결과

• MD-GAN-Simple에서는 자유기생자가 없을 경우 FID 점수가 77.46에서 다섯 명의 공격자가 있을 경우 210.57로 상승하여 이미지 품질이 심각하게 악화됨을 보여준다.
• MD-GAN-Swap에서는 자유기생자가 없을 경우 FID 점수가 75.33에서 다섯 명의 공격자가 있을 경우 160.17로 상승하여 MD-GAN-Simple보다 더 높은 취약성을 보임을 나타낸다.
• MD-GAN-Simple의 방어 기법은 MNIST에서 한 명의 공격자를 탐지할 때 정밀도 85.40%와 재현율 100%를 달성하지만, 다섯 명의 공격자가 있을 경우 정밀도가 22.62%로 떨어진다.
• MD-GAN-Swap의 경우, 한 명의 공격자가 있을 때 방어 기법은 공격의 90.74%를 정확히 방지하거나 허용하지만, 다섯 명의 공격자가 있을 경우 정밀도가 80.00%로 떨어진다.
• MD-GAN-Swap의 방어 기법은 다섯 명의 공격자가 있을 경우 잘못된 허가가 0%이며, 최대 7.88%의 잘못된 방지가 발생하여 거짓 긍정이 매우 낮음을 보여준다.
• 다섯 명의 공격자가 있을 경우, MD-GAN-Swap의 방어 기법은 CIFAR10에서 재현율 100%를 유지하지만 정밀도는 80.00%로 떨어져 정확한 탐지가 점점 어려워짐을 보여준다.