[논문 리뷰] Adversarial Attacks on Variational Autoencoders

George Gondim-Ribeiro, Pedro Tabacof외 1명|arXiv (Cornell University)|2018. 06. 12.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 20

한 줄 요약

이 논문은 변동형 오토인코더(VAEs)를 위한 새로운 적대적 공격 프레임워크를 제안하며, 주관적인 평가를 피하기 위해 공격 성공도를 정량적으로 평가할 수 있는 AUDDC 지표를 도입한다. 실험 결과, 주로 반복적이고 주의 메커니즘을 갖춘 DRAW는 MNIST, SVHN, CelebA 데이터셋 전반에서 완전히 연결된 VAE와 컨볼루션 VAE보다 훨씬 높은 공격에 대한 저항성을 보였으며, 이는 반복성과 주의 메커니즘이 모두 저항성 향상에 기여했음을 시사한다.

ABSTRACT

Adversarial attacks are malicious inputs that derail machine-learning models. We propose a scheme to attack autoencoders, as well as a quantitative evaluation framework that correlates well with the qualitative assessment of the attacks. We assess --- with statistically validated experiments --- the resistance to attacks of three variational autoencoders (simple, convolutional, and DRAW) in three datasets (MNIST, SVHN, CelebA), showing that both DRAW's recurrence and attention mechanism lead to better resistance. As autoencoders are proposed for compressing data --- a scenario in which their safety is paramount --- we expect more attention will be given to adversarial attacks on them.

연구 동기 및 목표

• 자주 사용되는 데이터 압축용으로서 강력한 보안 보장을 필요로 하는 오토인코더에 대한 적대적 공격에 대한 체계적인 평가 프레임워크가 부족한 문제를 해결하기 위해.
• 주관적 또는 모호한 성공 기준에 의존하지 않고 통계적으로 검증된 정량적 방법을 개발하여 오토인코더의 적대적 공격 효과성을 평가하기 위해.
• 특히 반복성과 주의 메커니즘이 포함된 VAE의 아키텍처 구성 요소가 적대적 공격에 대한 저항성에 미치는 영향을 조사하기 위해.
• 통제된 통계적 검증 실험 조건 하에서 세 가지 다양한 데이터셋(MNIST, SVHN, CelebA)에 대해 세 가지 VAE 변종(간단한, 컨볼루션, DRAW)의 저항성을 평가하기 위해.

제안 방법

• 입력의 왜곡을 최소화하면서 목표 이미지를 재구성할 수 있도록 VAE의 잠재 표현 또는 출력 레이어를 조작하는 타겟 공격 기반 공격 기법을 제안한다.
• 입력 왜곡과 출력 왜곡을 그래프로 그린 곡선 아래 면적을 계산하여 공격 성능을 정량적으로 평가하기 위해 AUDDC(왜곡-왜곡 곡선 아래 면적) 지표를 도입한다.
• 입력 왜곡과 목표 재구성 정밀도 사이의 균형을 유지하기 위해 정규화 기반 최적화 프레임워크를 활용하며, 정규화 상수를 조정하여 시각적 및 정량적 분석에 적합한 중간 지점 공격를 도출한다.
• 모델, 데이터셋, 공격 설정 간의 공격 성능 차이를 통계적으로 검증하기 위해 ANOVA와 사후 테스트인 Tukey 검정을 적용한다.
• 완전히 연결된 VAE, 컨볼루션 VAE, DRAW(반복적 VAE에 주의 메커니즘 통합)의 세 가지 VAE 아키텍처에 공격를 적용하고, MNIST, SVHN, CelebA에서 평가한다.
• 왜곡-왜곡 플롯과 측면 비교 이미지 시각화를 통해 공격 성공도와 모델 저항성을 정성적으로 평가한다.

실험 결과

연구 질문

• RQ1 명확한 성공 기준이 없는 상황에서 오토인코더에 대한 적대적 공격를 어떻게 체계적으로 평가할 수 있는가?
• RQ2 VAE의 아키텍처 구성 요소인 반복성과 주의 메커니즘이 적대적 공격에 대한 저항성을 얼마나 향상시키는가?
• RQ3 동일한 공격 조건에서 다양한 데이터셋(MNIST, SVHN, CelebA) 간에 모델의 저항성은 어떻게 달라지는가?
• RQ4 VAE의 내재적 생성 품질과 적대적 조작에 대한 저항성 간에 상관관계가 존재하는가?
• RQ5 완전히 연결된 VAE, 컨볼루션 VAE, DRAW의 각각 다른 VAE 아키텍처는 타겟 공격에 대해 어떻게 취약도가 다를까?

주요 결과

• DRAW는 반복적 VAE에 주의 메커니즘을 통합한 것으로, 모든 세 가지 데이터셋에서 완전히 연결된 VAE와 컨볼루션 VAE보다 뚜렷이 높은 공격 저항성을 보였다.
• 추가 실험(아블레이션 실험)을 통해 DRAW의 향상된 저항성에 반복적 아키텍처와 주의 메커니즘이 모두 핵심적인 기여를 했다는 것이 확인되었다.
• AUDDC 지표는 공격 성공도에 대한 인간의 정성적 평가와 강한 상관관계를 보였으며, 이는 이 지표가 신뢰할 수 있는 정량적 평가 도구로 사용될 수 있음을 검증하였다.
• SVHN은 공격하기 가장 쉬운 데이터셋이었고, CelebA는 더 높은 복잡성에도 불구하고 가장 저항성이 높았으며, 이는 데이터셋 특성 요소가 모델 아키텍처 외부에서 공격 난이도에 영향을 미칠 수 있음을 시사한다.
• 입력 왜곡이 눈에 띄지 않을 정도로 미세한 수준에서도 공격가 목표 이미지를 재구성하는 데 실패했으며, 이는 오토인코더를 공격하는 것이 분류기 공격보다 본질적으로 더 어렵다는 것을 확인한다.
• ANOVA와 사후 테스트인 Tukey 검정을 통한 통계 분석 결과, 모든 모델, 데이터셋, 공격 설정 요소 간에 공격 성능에 유의미한 차이가 있었고(p < 0.015), 실험 결과의 신뢰성을 검증하였다.