[논문 리뷰] ME-Net: Towards Effective Adversarial Robustness with Matrix Estimation

Yuzhe Yang, Guo Zhang외 2명|arXiv (Cornell University)|2019. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 60

한 줄 요약

ME-Net은 이미지를 재구성하기 위해 무작위 마스킹을 사용한 뒤 행렬 추정을 수행하여 전역 구조를 보존하고 적대적 공격에 대한 강건성을 향상시키며, 강력한 화이트박스 및 블랙박스 공격을 포함합니다.

ABSTRACT

Deep neural networks are vulnerable to adversarial attacks. The literature is rich with algorithms that can easily craft successful adversarial examples. In contrast, the performance of defense techniques still lags behind. This paper proposes ME-Net, a defense method that leverages matrix estimation (ME). In ME-Net, images are preprocessed using two steps: first pixels are randomly dropped from the image; then, the image is reconstructed using ME. We show that this process destroys the adversarial structure of the noise, while re-enforcing the global structure in the original image. Since humans typically rely on such global structures in classifying images, the process makes the network mode compatible with human perception. We conduct comprehensive experiments on prevailing benchmarks such as MNIST, CIFAR-10, SVHN, and Tiny-ImageNet. Comparing ME-Net with state-of-the-art defense mechanisms shows that ME-Net consistently outperforms prior techniques, improving robustness against both black-box and white-box attacks.

연구 동기 및 목표

• 적대적 구조를 파괴하면서도 전역 이미지 구조를 보존하여 강건한 이미지 분류를 동기화합니다.
• 재구성을 위한 무작위 마스킹 및 행렬 추정(ME)을 사용하는 전처리 파이프라인을 제안합니다.
• ME-Net이 흑색상자와 백색상자 공격 모두에서 강건성을 향상시키는지 입증합니다.
• ME-Net이 표준 SGD나 적대적 학습과 결합되어 강건성을 향상시킬 수 있는지 보입니다.

제안 방법

• 학습 및 테스트 중 각 이미지에 대해 무작위 픽셀 마스킹을 적용합니다.
• 마스킹된 이미지를 행렬 추정(ME)을 사용해 재구성합니다(일반적으로 Nuclear Norm 최소화를 사용).
• 재구성된 이미지로 분류기를 학습합니다(선택적으로 적대적 학습을 포함).
• 추론 시 학습 평균 마스킹 확률로 테스트 이미지를 마스킹하고 분류 전에 재구성합니다.
• 메서드 간 비교를 위해 ME 방법(Nuclear Norm, Soft-Impute, USVT)을 선택적으로 비교하고 계산 트레이드를 분석합니다.

실험 결과

연구 질문

• RQ1 마스킹-과-ME 재구성이 적대적 구조를 제거하면서 전역 이미지 구조를 보존하는가?
• RQ2 ME-Net이 여러 데이터셋에서 흑색상자 및 백색상자 공격에 대해 강건성을 향상시키는가?
• RQ3 ME-Net이 적대적 학습과 시너지를 내어 강력한 공격 하에서 최첨단 방어를 능가하는가?
• RQ4 다양한 ME 재구성 방법이 정확도, 강건성 및 복잡도 측면에서 어떻게 비교되는가?

주요 결과

• ME-Net은 흑색상자 공격 하에서 강건성을 크게 개선하여 CIFAR-10에서 이전 방법을 능가합니다.
• 적대적 학습과 함께 사용하면 백색상자 강건성이 최첨단 수준에 도달하여 예를 들어 ResNet-18과 함께 강력한 BPDA 공격 하에서 CIFAR-10에서 52.8%의 정확도를 달성합니다.
• ME-Net은 MNIST, CIFAR-10, SVHN, 및 Tiny-ImageNet에서 깨끗한 데이터에 대한 일반화 성능을 유지하거나 향상시킵니다.
• ME-Net은 전처리 파이프라인을 표적으로 하는 적응형 백색상자 공격에 대해서도 효과적입니다.
• 다양한 ME 방법은 계산 비용이 다르면서도 비슷한 강건성을 보이며, USVT가 가장 빠르고 Nuclear Norm은 가장 강건하지만 느립니다.