[논문 리뷰] Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks

Felipe A. Mejia, Paul Gamble외 5명|arXiv (Cornell University)|2019. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 9

한 줄 요약

이 논문은 적대적 훈련—적대적 공격에 대한 모델의 강건성을 향상시키기 위해 고안된 방법—이 이전에는 비가능했던 훈련 데이터의 재구성 가능성을 크게 증가시킨다는 것을 보여준다. 주요 발견은 강건한 모델이 더 의미 있는 활성화를 보이며, 이는 역모델링을 더 쉽게 만들지만, 전통적으로 훈련된 모델은 역모델링을 방해하는 적대적 예제로 인해 활성화가 흐릿해진다는 것이다.

ABSTRACT

Adversarial training was introduced as a way to improve the robustness of deep learning models to adversarial attacks. This training method improves robustness against adversarial attacks, but increases the models vulnerability to privacy attacks. In this work we demonstrate how model inversion attacks, extracting training data directly from the model, previously thought to be intractable become feasible when attacking a robustly trained model. The input space for a traditionally trained model is dominated by adversarial examples - data points that strongly activate a certain class but lack semantic meaning - this makes it difficult to successfully conduct model inversion attacks. We demonstrate this effect using the CIFAR-10 dataset under three different model inversion attacks, a vanilla gradient descent method, gradient based method at different scales, and a generative adversarial network base attacks.

연구 동기 및 목표

• 딥 러닝 모델에서 적대적 강건성과 데이터 프라이버시 간의 상호 상충 관계를 조사하기 위해.
• 적대적으로 훈련된 모델(ATM)이 전통적으로 훈련된 모델(TTM)보다 모델 역모델링 공격에 더 취약한지 평가하기 위해.
• 전통적으로 훈련된 모델에서 적대적 예제의 존재가 역모델링 과정을 어떻게 방해하는지 분석하기 위해.
• 특징 유사도와 L2 거리 메트릭을 사용하여 모델 역모델링 공격의 성공도를 정량화하기 위해.
• 강건한 모델에서 역모델링 과정 중에 泄露되는 시각적 특징(예: 색상, 형태, 배경)을 특정하기 위해.

제안 방법

• CIFAR-10에 대해 세 개의 이미지 분류 모델을 훈련시켰다: 두 개의 전통적으로 훈련된 모델(TTM-VGG16 및 TTM-Res)과 하나의 적대적으로 훈련된 모델(ATM-Res)을 표준 min-max 공식과 L2 변형을 사용하여 훈련시켰다.
• 세 가지 모델 역모델링 공격을 적용했다: 기존의 경사 하강법, 다양한 척도에서의 경사 기반 최적화, GAN 기반 공격.
• 역모델링 성공도는 마지막 합성곱층에서의 훈련 데이터 특징과 복원된 이미지 간의 코사인 유사도를 계산한 후, 가장 가까운 매칭 이미지와의 L2 거리를 측정하여 평가했다.
• 적대적 반경(변형 크기)을 다양하게 조정하여 적대적 강건성과 프라이버시 泄露에 미치는 영향을 평가했다.
• 재구성 결과는 객체의 형태, 배경, 로고 등 어떤 특징이 유지되거나 흐릿해졌는지 분석하여 정성적으로 분석했다.
• 역모델링 가능성을 설명하기 위해 TTM과 ATM 간의 활성화 패턴을 비교 분석했다.

실험 결과

연구 질문

• RQ1 적대적 훈련은 전통적 훈련에 비해 모델 역모델링 공격에 더 취약하게 만드는가?
• RQ2 왜 모델 역모델링 공격는 전통적으로 훈련된 모델에서는 효과적이지 않지만, 적대적으로 훈련된 모델에서는 가능할까?
• RQ3 전통적으로 훈련된 모델에서 적대적 예제는 역모델링 과정을 어떻게 방해하는가?
• RQ4 적대적으로 훈련된 모델에서 재구성된 이미지가 객체의 형태나 색상과 같은 의미적 특징을 어느 정도 유지하는가?
• RQ5 특징 수준의 유사도와 L2 거리 메트릭은 모델 역모델링 공격의 성공도를 효과적으로 정량화할 수 있는가?

주요 결과

• 적대적으로 훈련된 모델(ATM-Res)은 전통적으로 훈련된 모델(TTM-VGG16 및 TTM-Res)보다 모델 역모델링 공격에 훨씬 더 취약했으며, 객체의 형태나 색상과 같은 의미 있는 특징을 재구성하는 데 성공했다.
• 전통적으로 훈련된 모델에서는 입력 공간에서 의미 없는 적대적 예제가 지배적이기 때문에, 모델 역모델링 공격가 의미 있는 재구성을 생성하지 못했다.
• ATM-Res 모델은 검증 정확도 84.9%와 학습 정확도 95.7%를 기록했지만, 여전히 재구성 과정에서 보트의 형태나 자동차 윤곽과 같은 식별 가능한 특징을 泄露했다.
• 훈련 이미지를 초기값으로 사용했을 때, ATM은 안정적이고 의미적으로 일관된 재구성을 생성했으며 핵심 특징을 강조했지만, TTM은 입력을 적대적 예제로 변형시켰다.
• 복원된 이미지와 가장 가까운 훈련 이미지 간의 L2 거리는 ATM의 경우 TTM보다 유의미하게 낮아, 더 높은 역모델링 성공도를 나타냈다.
• 배경 특징은 일반적으로 프라이버시가 유지되었지만, 일관된 전경 특징(예: 물 위의 보트, 도로 위의 자동차)은 안정적으로 재구성되어 구조적 패턴에서 프라이버시 유출이 발생했다.