[논문 리뷰] Improving VAEs' Robustness to Adversarial Attack

Matthew Willetts, Alexander Camuto외 3명|arXiv (Cornell University)|2019. 06. 01.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 변동형 오토인코더(VAE)에 대한 적대적 공격에 대비한 새로운 방어 기법을 제안한다. 총상관도(TC) 정규화를 활용하여 강건성을 향상시킨다. 계층적 VAE에 TC 정규화를 적용한 방식—Seatbelt-VAE—를 통해 고해상도 복원을 달성하면서도 잠재공간 내 적대적 공격에 대해 뛰어난 저항성을 확보하였으며, 표준 VAE 및 단일층 정규화 VAE보다 뛰어난 성능을 보였다.

ABSTRACT

Variational autoencoders (VAEs) have recently been shown to be vulnerable to adversarial attacks, wherein they are fooled into reconstructing a chosen target image. However, how to defend against such attacks remains an open problem. We make significant advances in addressing this issue by introducing methods for producing adversarially robust VAEs. Namely, we first demonstrate that methods proposed to obtain disentangled latent representations produce VAEs that are more robust to these attacks. However, this robustness comes at the cost of reducing the quality of the reconstructions. We ameliorate this by applying disentangling methods to hierarchical VAEs. The resulting models produce high-fidelity autoencoders that are also adversarially robust. We confirm their capabilities on several different datasets and with current state-of-the-art VAE adversarial attacks, and also show that they increase the robustness of downstream tasks to attack.

연구 동기 및 목표

• 작은 입력 변형이 목표 이미지로 재구성되는 잠재공간 내 적대적 공격에 취약한 표준 VAE의 취약점을 해결한다.
• 특히 총상관도(TC) 정규화를 포함한 분리 가능한 정규화 기법이 VAE의 적대적 강건성 향상에 기여할 수 있는지 조사한다.
• 단일층 정규화 VAE에서 관찰되는 강건성과 재구성 품질 간의 상충관계를 계층적 아키텍처를 통해 극복한다.
• VAE 인코더를 활용한 후속 작업에서 적대적 공격에 대한 강건성이 어떻게 유지되는지 입증한다.
• 성능과 강건성을 향상시키기 위해 계층적 잠재공간과 TC 정규화를 결합한 새로운 모델 아키텍처—Seatbelt-VAE—를 개발하고 검증한다.

제안 방법

• VAE 학습 중 변동형 목표에 총상관도(TC) 정규화를 적용하여, 입력 변형에 덜 민감한 분리 가능한 확률적 잠재 표현을 유도한다.
• 다중 잠재층을 가진 계층적 VAE 아키텍처를 사용하며, 각 층의 사후분포와 사전분포는 차원수가 점차 감소하는 암시적 추론 네트워크로 모델링된다.
• 계층적 층 간에 다중 수준의 TC 정규화를 도입하여 강건성을 향상시키면서도 표현 능력을 유지한다.
• ADAM 최적화를 사용하고 배치 크기를 1024로 설정하며, 학습률을 코즈인 감쇠 전략을 적용한다. 최적화 안정화를 위해 무료 비트(free bits)를 적용한다.
• 고정된 디코더 분산(σ = 0.1)을 사용하고, Chen 등(2018)에서 개선한 표준 컨볼루션 및 트랜스포지션 컨볼루션 기반의 인코더-디코더 아키텍처를 적용한다.
• 잠재공간 내 적대적 공격을 통해 강건성을 평가하며, 재구성된 이미지가 목표 이미지와 유사한지, 노이즈가 첨가된 입력 하에서의 가능도를 측정한다.

실험 결과

연구 질문

• RQ1 VAE에서 총상관도 정규화가 잠재공간 내 적대적 공격에 대해 강건성을 향상시킬 수 있는가?
• RQ2 표준 TC 정규화 VAE에서 관찰되는 재구성 품질과 적대적 강건성 간의 상충관계가 실용적 구현을 제한하는가?
• RQ3 TC 정규화를 적용한 계층적 VAE가 고해상도 재구성과 강력한 적대적 강건성을 동시에 달성할 수 있는가?
• RQ4 VAE 인코더에서 향상된 강건성이 후속 작업으로까지 이어지는가?
• RQ5 단일층 VAE에 비해 계층적 아키텍처가 적대적 변형에 대한 저항 능력에 어떤 영향을 미치는가?

주요 결과

• 표준 VAE에 TC 정규화를 적용하면 적대적 공격에 대한 강건성이 향상되지만, 잠재 표현의 과도한 스무딩으로 인해 재구성 품질이 크게 악화된다.
• TC 정규화를 적용한 계층적 VAE—명명된 Seatbelt-VAE—는 표준 VAE 및 단일층 TC 정규화 VAE보다 뛰어난 강건성을 확보한다.
• CelebA 데이터셋에서 L=4 층을 가진 Seatbelt-VAE는 강력한 변형 조건에서도 원본 입력(예: 히ュー 잭맨)의 재구성을 유지하는 데 성공한다.
• 노이즈가 첨가된 입력 하에서 원본 입력의 가능도는 β > 1인 Seatbelt-VAE에서 뚜렷이 높아지며, 다양한 노이즈 스케일에서의 강건성이 뛰어나다는 것을 시사한다.
• 표준 VAE와 비교해도 재구성 품질을 유지하거나 향상시키면서도 더 높은 강건성을 확보함으로써, 일반적으로 관찰되는 품질-강건성 상충관계를 해결한다.
• VAE 인코더에서의 적대적 공격에 대한 강건성이 후속 작업으로까지 이어져, 그 작업의 적대적 입력에 대한 저항력이 향상된다.