[논문 리뷰] Adversarial Self-Defense for Cycle-Consistent GANs

Dina Bashkirova, Ben Usman외 1명|arXiv (Cornell University)|2019. 08. 05.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 22

한 줄 요약

이 논문은 사이클 일致성 GAN에서 생성자가 사이클 일치 손실을 만족하기 위해 입력 정보를 눈에 띄지 않는 노이즈에 숨기는 자기적대적 공격을 규명한다. 저자들은 노이즈 정규화와 추측 손실이라는 두 가지 방어 기법을 제안하여 이러한 숨겨진 임bedding을 줄이고, 번역 품질, 재구성 정직성, 고주파 변형에 대한 강건성을 향상시킨다.

ABSTRACT

The goal of unsupervised image-to-image translation is to map images from one domain to another without the ground truth correspondence between the two domains. State-of-art methods learn the correspondence using large numbers of unpaired examples from both domains and are based on generative adversarial networks. In order to preserve the semantics of the input image, the adversarial objective is usually combined with a cycle-consistency loss that penalizes incorrect reconstruction of the input image from the translated one. However, if the target mapping is many-to-one, e.g. aerial photos to maps, such a restriction forces the generator to hide information in low-amplitude structured noise that is undetectable by human eye or by the discriminator. In this paper, we show how such self-attacking behavior of unsupervised translation methods affects their performance and provide two defense techniques. We perform a quantitative evaluation of the proposed techniques and show that making the translation model more robust to the self-adversarial attack increases its generation quality and reconstruction reliability and makes the model less sensitive to low-amplitude perturbations.

연구 동기 및 목표

• 비지도 이미지 간 번역 모델, 특히 다대일 매핑에서 자기적대적 공격 현상의 규명 및 분석.
• 생성자가 사이클 일치 손실을 속이기 위해 사용하는 숨겨진 구조적 노이즈의 존재를 정량화.
• 적대적 노이즈에 대한 의존도를 줄이고 모델의 정직성과 강건성을 향상시키기 위한 방어 기법 개발.
• 자기적대적 행동을 탐지하기 위한 새로운 평가 지표인 재구성 정직성(RH)과 노이즈 민감도(SN) 도입.
• 자기적대적 공격에 대한 강건성 향상이 번역 작업에서의 일반화 능력과 신뢰성 향상에 기여함을 보여줌.

제안 방법

• 재구성 과정에서 구조적 노이즈에 의존하지 않도록 유도하기 위해 훈련 중 고주파 노이즈를 추가하는 노이즈 정규화 방어 기법 제안.
• 생성자가 더 해석 가능한 출력을 생성하도록 유도하기 위해 타당한 클래스 예측에서의 편차를 벌어지게 하여 벌금을 주는 추측 손실 구성 요소 도입.
• 재구성 정직성(RH)을 재구성 오차가 추가된 노이즈 진폭에 따라 어떻게 변화하는지 측정하는 지표로 정의하여 숨겨진 임베딩 존재 여부를 확인.
• 번역 출력에서 고주파 변형에 대한 모델의 취약도를 정량화하는 지표로 노이즈 민감도(SN) 정의.
• 노이즈 정규화 및 추측 손실 방어 기법을 CycleGAN, UNIT, MUNIT에 적용하여 의미 분할 및 재구성 정밀도에 미치는 영향 평가.
• 평균 클래스별 분할 정확도, IoU, 재구성 오차 분포와 같은 정량적 지표를 사용해 성능 향상 평가.

실험 결과

연구 질문

• RQ1 사이클 일치 손실이 비지도 이미지 간 번역 모델에서 자기적대적 행동을 얼마나 유도하는가?
• RQ2 숨겨진 구조적 노이즈의 존재가 고주파 변형에 대한 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 노이즈 정규화 및 추측 손실과 같은 적대적 방어 기법이 숨겨진 임베딩을 줄이고 모델의 정직성을 향상시킬 수 있는가?
• RQ4 제안된 지표(RH 및 SN)는 번역 품질과 재구성 신뢰성과 어떻게 상관관계가 있는가?
• RQ5 자기적대적 공격에 대한 강건성 향상이 더 나은 일반화 능력과 더 해석 가능한 출력을 가져오는가?

주요 결과

• 자기적대적 공격는 사이클 일치성 GAN에서 널리 퍼져 있으며, 특히 항공 사진에서 세그멘테이션 맵으로의 다대일 매핑에서 생성자가 입력 세부 정보를 눈에 띄지 않는 노이즈에 숨기기 때문에 특히 두드러진다.
• 기존의 CycleGAN과 UNIT은 노이즈에 매우 민감하여 노이즈 진폭 0.08에서 재구성 오차가 급격히 증가하며 강력한 숨겨진 임베딩 존재를 시사한다.
• 노이즈 정규화 방어 기법은 GTA V에서 재구성 오차(RH)를 27.434에서 9.166으로, Google Maps에서 21.775에서 12.266로 줄여 강건성 향상을 크게 개선했다.
• 추측 손실 방어 기법은 GTA V에서 RH를 11.380으로, Google Maps에서 7.467로 줄여 일부 의미 오류가 있음에도 불구하고 더 해석 가능한 재구성을 만들어 냈다.
• 두 방어 기법 모두 분할 정확도(최대 0.242, Google Maps 기준)와 IoU(최대 0.224) 향상을 이끌어내어 번역 품질 향상을 확인했다.
• 방어 기법을 적용한 모델은 노이즈 민감도(SN)가 감소하여, 노이즈 기반의 경우 446.924에서 94.150으로, 추측 손실 기반의 경우 212.589에서 94.150으로 감소하여 적대적 노이즈에 대한 의존도 감소를 확인했다.