[논문 리뷰] Improved Image Wasserstein Attacks and Defenses

J. Edward Hu, Adith Swaminathan외 2명|arXiv (Cornell University)|2020. 04. 26.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 9

한 줄 요약

이 논문은 모든 이미지에 적용 가능한 수정된 강력한 워샤르슈타인 기반의 대비 위협 모델을 제안하며, 이전 수식의 결함을 시정한다. 워샤르슈타인 및 ℓ∞ 구 내에서 안전한 투영을 가능하게 하는 제약 조건이 붙은 싱크호르 반복을 도입하여, 더 효과적인 공격과 방어를 가능하게 한다. 새로운 공격은 이전의 강건한 모델을 뛰어넘으며, 저자들은 새로운 공격과 이전 공격에 모두 강건한 최신 기술 수준의 모델을 훈련시켰다.

ABSTRACT

Robustness against image perturbations bounded by a $\ell_p$ ball have been well-studied in recent literature. Perturbations in the real-world, however, rarely exhibit the pixel independence that $\ell_p$ threat models assume. A recently proposed Wasserstein distance-bounded threat model is a promising alternative that limits the perturbation to pixel mass movements. We point out and rectify flaws in previous definition of the Wasserstein threat model and explore stronger attacks and defenses under our better-defined framework. Lastly, we discuss the inability of current Wasserstein-robust models in defending against perturbations seen in the real world. Our code and trained models are available at https://github.com/edwardjhu/improved_wasserstein .

연구 동기 및 목표

• 정의된 변형 한계를 위반할 수 있는 대비 예제를 생성할 수 없도록, 이전 워샤르슈타인 위협 모델의 심각한 결함을 식별하고 수정하는 것.
• 명확히 정의된 워샤르슈타인 거리 제약 조건 내에서 대비 예제를 생성하기 위한 강건하고 안전하며 효율적인 방법을 개발하는 것.
• PGD 단계를 수정하여 더 강력한 대비 공격을 설계하는 것, 이는 이전에 훈련된 강건한 모델에 대한 공격 성공률를 향상시키기 위함이다.
• 새로운 공격과 이전 공격 양쪽에 대해 강건성을 유지하면서도 실제 세계의 변형에도 효과적인 새로운 대비 강건 모델을 훈련시키는 것.
• 현재의 워샤르슈타인-강건 모델이 자연스럽고 부드러운 변형, 예를 들어 이동, 회전, 흐림과 같은 것들에 대해 어느 정도 방어할 수 있는지에 대한 한계를 평가하는 것.

제안 방법

• 모든 이미지에 대해 적용 가능한 워샤르슈타인 위협 모델을 재정의하여, 정규화된 이미지에만 적용 가능한 것이 아닌, 주어진 차원의 모든 이미지에 적용 가능하게 하며, 수학적 일관성을 확보하는 것.
• 워샤르슈타인 구와 ℓ∞ 구의 교차부에 이미지를 투영하는 제약 조건이 붙은 싱크호르 반복을 도입하여, 두 제약 조건을 모두 충족함을 보장하는 것.
• PGD에서 기울기의 ℓ2 노름을 사용한 가장 급격한 경사 하강 단계를 사용하여 공격 효과를 향상시키며, 표준 PGD 단계를 초월하는 것.
• 개선된 공격을 대비 훈련에 통합하여, 여러 위협 모델에 일반화되는 새로운 강건한 모델을 생성하는 것.
• 제약 조건이 붙은 투영의 계산 비용을 상쇄하기 위해 런타임 최적화를 적용하여 실용적 구현을 가능하게 하는 것.
• 제약 조건이 붙은 싱크호르 프레임워크를 향후 위협 모델에 추가 제약 조건(예: 부드러움)을 통합하는 데도 활용 가능한 다용도 도구로 활용하는 것.

실험 결과

연구 질문

• RQ1 정규화된 이미지가 아닌 모든 이미지에 대해 워샤르슈타인 위협 모델을 어떻게 정의할 수 있으며, 이를 통해 잘못된 대비 예제를 생성하는 것을 방지할 수 있는가?
• RQ2 워샤르슈타인 구와 ℓ∞ 구 양쪽에 모두 포함되는 변형을 투영하기 위한 계산적으로 효율적이고 수학적으로 타당한 방법은 무엇인가?
• RQ3 PGD 단계의 크기와 방향을 수정함으로써 더 강력한 대비 공격을 구성할 수 있으며, 이는 이전 모델의 강건성에 어떤 영향을 미치는가?
• RQ4 새로운 공격으로 훈련된 모델이 새로운 공격과 이전 공격, 그리고 실제 세계의 변형까지 모두 견딜 수 있는 정도는 어느 정도인가?
• RQ5 제안된 제약 조건이 붙은 싱크호르 프레임워크를 사용하여 부드러움과 같은 추가 제약 조건을 위협 모델에 의미 있게 통합할 수 있는가?

주요 결과

• 제안된 제약 조건이 붙은 싱크호르 투영은 모든 대비 예제가 지정된 워샤르슈타인 및 ℓ∞ 범위 내에 유지됨을 보장하여, 이전 연구에서의 심각한 결함을 시정한다.
• 새로운 공격은 이전 방법보다 훨씬 높은 성공률를 기록한다: MNIST에서는 ε×n_pixel = 100일 때 강건 정확도를 94%에서 39%로 감소시키며, 동일한 반경에서 CIFAR-10에서는 82%에서 20%로 감소시킨다.
• 대비 훈련된 모델은 최신 기술 수준의 강건성을 확보하며, 청소년 데이터 기준으로 MNIST에서는 92.8%의 정확도, CIFAR-10에서는 84.4%의 정확도를 유지하며, 이전 공격에 대해서도 강건성을 유지한다.
• 강건성이 향상되었음에도 불구하고, 새로운 모델은 20° 회전(79.1% 정확도, MNIST 기준)과 7 픽셀 가우시안 블러(58.4% 정확도, MNIST 기준)와 같은 큰 실제 세계의 변형에는 여전히 방어하지 못하며, 방어 능력의 격차가 있음을 시사한다.
• 제약 조건이 붙은 싱크호르 방법은 일반화 가능하며, 향후 위협 모델 설계를 위한 탄력적인 기반으로 부드러움과 같은 추가 제약 조건을 통합할 수 있다.
• 이 연구는 현재의 워샤르슈타인-강건 모델이 자연스럽고 시각적으로 일치하는 변형에 대해 충분히 방어하지 못하며, 더 표현력 있는 위협 모델과 방어 기법이 필요하다는 점을 드러낸다.