[논문 리뷰] Provable Robust Learning Based on Transformation-Specific Smoothing.

Linyi Li, Maurice Weber외 5명|arXiv (Cornell University)|2020. 02. 27.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 12

한 줄 요약

이 논문은 일반적인 의미적 변환에 대한 증명 가능하고 강건한 인증을 위한 통합 프레임워크를 제안한다. 이는 변환을 해결 가능(resolvable) 및 미분 가능하게 해결 가능한(differentially resolvable) 유형으로 분류함으로써 이루어지며, 리프시츠 추정을 통한 샘플링 기반 보간법을 도입하여 지수 스무딩이 가우시안 스무딩보다 더 날카운 강건성 경계를 제공함을 입증한다. 이는 ImageNet에서 일곱 가지 변환에 대해 기존 최고 성능(SOTA)을 크게 능가한다.

ABSTRACT

As machine learning (ML) systems become pervasive, safeguarding their security is critical. Recent work has demonstrated that motivated adversaries could add adversarial perturbations to the test data to mislead ML systems. So far, most research has focused on providing provable robustness guarantees for ML models against a specific Lp norm bounded adversarial perturbation. However, in practice previous work has shown that there are other types of realistic adversarial transformations whose semantic meaning has been leveraged to attack ML systems. In this paper, we aim to provide a unified framework for certifying ML robustness against general adversarial transformations. First, we identify the semantic transformations as different categories: resolvable (e.g., Gaussian blur and brightness) and differentially resolvable transformations (e.g., rotation and scaling). We then provide sufficient conditions and strategies for certifying certain transformations. For instance, we propose a novel sampling-based interpolation approach with estimated Lipschitz upper bound to certify the robustness against differentially resolvable transformations. In addition, we theoretically optimize the smoothing strategies for certifying the robustness of ML models against different transformations. For instance, we show that smoothing by sampling from exponential distribution provides a tighter robustness bound than Gaussian. Extensive experiments on 7 semantic transformations show that our proposed unified framework significantly outperforms the state-of-the-art certified robustness approaches on several datasets including ImageNet.

연구 동기 및 목표

• 표준 Lp-유계 변형을 초월한 의미적 변환에 대한 증명 가능 강건성 인증의 격차를 해결하기 위해.
• 구조적 성질에 기반해 의미적 변환을 해결 가능 및 미분 가능하게 해결 가능한 유형으로 분류하기 위해.
• 더 날카운 강건성 인증을 가능하게 하는 변환 고유의 스무딩 전략을 개발하기 위해.
• 더 나은 강건성 경계를 위한 스무딩 분포의 이론적 최적화를 수행하고, 특히 지수 스무딩이 가우시안 스무딩보다 유리함을 입증하기 위해.
• ImageNet과 같은 다양한 변환과 벤치마크 데이터셋에서 프레임워크의 실증적 검증을 수행하기 위해.

제안 방법

• 가능성과 역행 가능성을 기반으로 변환의 미분 가능성과 역행 가능성에 따라 의미적 변환을 해결 가능(예: 가우시안 블러, 밝기) 및 미분 가능하게 해결 가능한(예: 회전, 스케일링) 유형으로 분류한다.
• 다양한 변환에 대한 강건성 인증을 위해 리프시츠 상한을 추정하는 샘플링 기반 보간법을 제안한다.
• 변환 고유의 스무딩 전략을 사용하여 일반적인 변환 가족에 대한 강건성 인증을 위한 충분조건을 유도한다.
• 스무딩 분포를 이론적으로 분석하고 최적화하여, 지수 분포에서 샘플링하는 것이 가우시안 스무딩보다 더 날카운 강건성 경계를 제공함을 입증한다.
• 표준 모델을 사용하여 실세계 데이터셋, 특히 ImageNet에 프레임워크를 적용하고 다양한 의미적 편향 하에서 인증된 강건성 성능를 확보한다.
• 변환 집합 하에서 스무딩 모델의 예측 안정성에 기반해 강건성 인증을 계산하는 인증된 강건성 평가 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 표준 Lp-유계 변형을 초월한 다양한 의미적 변환에 대해 증명 가능 강건성 인증을 위한 통합 프레임워크를 개발할 수 있는가?
• RQ2 특히 미분 가능하게 해결 가능한 변환에 대해 일반적인 변환 가족 하에서 강건성 인증을 위한 충분조건는 무엇인가?
• RQ3 다양한 스무딩 분포(예: 가우시안 대비 지수)는 강건성 인증의 날카움에 어떤 영향을 미치는가?
• RQ4 변환 고유의 스무딩 전략은 일반적인 접근 방식에 비해 인증된 강건성 마진을 크게 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 실세계 데이터셋과 회전, 스케일링과 같은 복잡한 변환에 대해 어떻게 성능를 보이는가?

주요 결과

• 제안된 프레임워크는 ImageNet에서 일곱 가지 의미적 변환에 대해 기존 최고 성능(SOTA) 방법보다 유의미하게 높은 인증된 강건성 정확도를 달성한다.
• 이론적으로 유도되고 실증적으로 검증된 결과에 따르면, 지수 분포에서의 스무딩이 가우시안 스무딩보다 더 날카운 강건성 경계를 제공한다.
• 리프시츠 추정을 통한 샘플링 기반 보간법은 회전, 스케일링과 같은 미분 가능하게 해결 가능한 변환에 대해 효과적으로 강건성 인증을 수행한다.
• 이 프레임워크는 해결 가능(예: 밝기) 및 비해결 가능(예: 블러) 변환을 포함한 다양한 변환 유형으로 일반화되는 데 성공했다.
• 실증 결과는 ImageNet에서 일관된 성능 향상을 보이며, 이는 제안된 방법의 실용성과 확장 가능성의 타당성을 입증한다.
• 이론적 분석은 변환 고유의 스무딩 전략이 균일하거나 비적응형 스무딩에 비해 더 나은 강건성 인증을 이끌어낸다는 것을 확인한다.