[논문 리뷰] TSS: Transformation-Specific Smoothing for Robustness Certification

Linyi Li, Maurice Weber외 6명|arXiv (Cornell University)|2020. 02. 27.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 6

한 줄 요약

TSS는 회전, 블러, 밝기 변화와 같은 의미적 변환에 대해 기존 ℓp-노름 기반 방어 방법이 회피하는 변환에 대해, 변환 유형에 맞는 랜덤화 스무딩과 분류 샘플링을 활용하여 일관된 프레임워크를 제안한다. 이는 의미적 변환에 대해 최신 기준의 인증 가능 강건성 정확도를 달성하며, ±30° 회전에 대해 ImageNet에서 30.4%의 인증 가능 강건성 정확도를 기록했고, ℓp-한계가 없는 대규모 데이터셋에서 비어 있지 않은 인증 가능 강건성을 제공하는 최초의 방법이다.

ABSTRACT

As machine learning (ML) systems become pervasive, safeguarding their security is critical. However, recently it has been demonstrated that motivated adversaries are able to mislead ML systems by perturbing test data using semantic transformations. While there exists a rich body of research providing provable robustness guarantees for ML models against $\ell_p$ norm bounded adversarial perturbations, guarantees against semantic perturbations remain largely underexplored. In this paper, we provide TSS -- a unified framework for certifying ML robustness against general adversarial semantic transformations. First, depending on the properties of each transformation, we divide common transformations into two categories, namely resolvable (e.g., Gaussian blur) and differentially resolvable (e.g., rotation) transformations. For the former, we propose transformation-specific randomized smoothing strategies and obtain strong robustness certification. The latter category covers transformations that involve interpolation errors, and we propose a novel approach based on stratified sampling to certify the robustness. Our framework TSS leverages these certification strategies and combines with consistency-enhanced training to provide rigorous certification of robustness. We conduct extensive experiments on over ten types of challenging semantic transformations and show that TSS significantly outperforms the state of the art. Moreover, to the best of our knowledge, TSS is the first approach that achieves nontrivial certified robustness on the large-scale ImageNet dataset. For instance, our framework achieves 30.4% certified robust accuracy against rotation attack (within $\pm 30^\circ$) on ImageNet. Moreover, to consider a broader range of transformations, we show TSS is also robust against adaptive attacks and unforeseen image corruptions such as CIFAR-10-C and ImageNet-C.

연구 동기 및 목표

• 기존 ℓp-노름 기반 방어 방법이 회피하는 의미적 변환에 대해 증명 가능한 강건성 보장을 제공하지 못하는 문제를 해결하기 위해.
• 다양한 변환의 고유한 성질을 고려한 통합된 인증 프레임워크를 개발하기 위해.
• 이전 방법이 실패하는 대규모 데이터셋(예: ImageNet)에서 비어 있지 않은 인증 가능 강건성을 달성하기 위해.
• 회전, 스케일링 등 다양한 분해 가능 변환에서 발생하는 보간 오차를 처리하기 위해 새로운 분류 샘플링 기법을 통해 보간 오차를 추정하고 경계를 설정하기 위해.
• 적응형 및 예측 불가능한 오염(예: CIFAR-10-C, ImageNet-C) 상황에서도 강건성 인증 성능을 향상시키기 위해.

제안 방법

• 변환의 수학적 성질에 따라 변환을 분해 가능(예: 가우시안 블러) 및 미분 가능 분해(예: 회전)로 유형 분류.
• 분해 가능한 변환에 대해서는 강건성 인증을 위한 날카운 강건성 경계를 도출하기 위해 변환 유형에 맞는 랜덤화 스무딩 전략 설계.
• 미분 가능 분해 변환에 대해서는 스무딩 과정에서 발생하는 보간 오차를 추정하고 경계를 설정하기 위해 분류 샘플링 기법 제안.
• 유연성 향상 훈련을 통합하여 일반 정확도와 강건성 인증 성능 향상.
• 보간 오차의 상한(예: 식 (24)를 통해)을 활용하여 변환 편향에 대한 인증 가능 강건성 마진 유도.
• 두 단계 샘플링 전략을 적용: 먼저 변환 공간을 샘플링하고, 그 다음 훼손된 입력을 샘플링하여 강건성 추정.

실험 결과

연구 질문

• RQ1 ℓp-노름 기반 제약이 없는 의미적 변환에 대해 기계 학습 모델에 대해 증명 가능한 강건성 보장을 제공할 수 있는가?
• RQ2 기존 방법보다 더 날카운 강건성 인증을 도출할 수 있는 변환 유형에 맞는 스무딩 프로토콜을 어떻게 설계할 수 있는가?
• RQ3 보간 오차를 수반하는 다양한 분해 가능 변환에 대해 강건성 인증을 효과적으로 수행하기 위한 기법은 무엇인가?
• RQ4 이 프레임워크는 ImageNet과 같은 대규모 데이터셋에서 비어 있지 않은 인증 가능 강건성을 달성할 수 있는가?
• RQ5 적응형 공격 및 예측 불가능한 이미지 오염(예: CIFAR-10-C, ImageNet-C) 상황에서 이 프레임워크의 성능은 어떠한가?

주요 결과

• TSS는 ±30° 범위 내에서 회전 공격에 대해 ImageNet에서 30.4%의 인증 가능 강건성 정확도를 달성했으며, 이는 의미적 변환에 대해 이 데이터셋에서 처음으로 비어 있지 않은 인증 가능 강건성을 확보한 것이다.
• CIFAR-10에서 TSS는 ±10° 회전 및 ±10% 밝기 변화에 대해 63.6%의 인증 가능 강건성 정확도를 기록했으며, 이는 이전 최고 성능 방법을 초월한다.
• MNIST에서는 ±50% 스케일링 및 ±50% 밝기 변화에 대해 97.4%의 인증 가능 강건성 정확도를 달성하여 단순한 데이터셋에서도 뛰어난 성능을 보였다.
• 다양한 스무딩 분산 범위에서 높은 인증 가능 강건성과 함께 높은 일반 정확도(예: CIFAR-10에서 83.0%)를 유지하였다.
• TSS는 적응형 공격 및 예측 불가능한 오염(예: CIFAR-10-C, ImageNet-C)에 대해서도 강건성을 보였으며, 표준 편향을 넘어서 일반화 능력을 입증하였다.
• 인증의 날카움과 계산 비용 사이에 상충 관계가 관찰됨: 샘플 수를 늘릴수록 강건성 경계는 향상되지만 계산 시간은 선형적으로 증가함.