[논문 리뷰] Towards Verifying Robustness of Neural Networks Against Semantic Perturbations

Jeet Mohapatra, Tsui-Wei외 4명|arXiv (Cornell University)|2019. 12. 19.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 13

한 줄 요약

이 논문은 신경망에 대한 의미적 편향(예: 색상 이동, 회전, 밝기 변화)에 대한 강건성 검증을 가능하게 하는 모델에 종속되지 않는 프레임워크인 Semantify-NN을 제안한다. 이는 의미적 편향 레이어(SP-레이어)를 삽입하여 의미적 위협 모델을 등가의 ℓp-노름 유한한 모델로 변환함으로써 달성된다. 이 방법은 간단한 ℓp 기반 검증 대비 최대 2–3개 지수 정도 더 날카운 강건성 인증을 달성하며, 입력 분할 및 정밀 조정 기법을 통해 추가로 향상된다.

ABSTRACT

Verifying robustness of neural networks given a specified threat model is a fundamental yet challenging task. While current verification methods mainly focus on the $\ell_p$-norm threat model of the input instances, robustness verification against semantic adversarial attacks inducing large $\ell_p$-norm perturbations, such as color shifting and lighting adjustment, are beyond their capacity. To bridge this gap, we propose extit{Semantify-NN}, a model-agnostic and generic robustness verification approach against semantic perturbations for neural networks. By simply inserting our proposed extit{semantic perturbation layers} (SP-layers) to the input layer of any given model, extit{Semantify-NN} is model-agnostic, and any $\ell_p$-norm based verification tools can be used to verify the model robustness against semantic perturbations. We illustrate the principles of designing the SP-layers and provide examples including semantic perturbations to image classification in the space of hue, saturation, lightness, brightness, contrast and rotation, respectively. In addition, an efficient refinement technique is proposed to further significantly improve the semantic certificate. Experiments on various network architectures and different datasets demonstrate the superior verification performance of extit{Semantify-NN} over $\ell_p$-norm-based verification frameworks that naively convert semantic perturbation to $\ell_p$-norm. The results show that extit{Semantify-NN} can support robustness verification against a wide range of semantic perturbations. Code available https://github.com/JeetMo/Semantify-NN

연구 동기 및 목표

• 현재의 ℓp 기반 검증 도구가 효과적으로 처리할 수 없는, 큰 ℓp-노름 편향을 유도하는 의미적 적대적 공격에 대한 강건성 검증의 격차를 해소하기 위해.
• 기존의 ℓp-노름 검증 도구를 확장하여 재학습 없이도 광범위한 의미적 편향을 지원하는 모델에 종속되지 않는 프레임워크를 개발하기 위해.
• 색조, 채도, 밝기, 대비, 회전, 가림 등 의미적 변환을 정확하게 모델링할 수 있고 ℓp 기반 검증과 호환되는 의미적 편향 레이어(SP-레이어)를 설계하기 위해.
• 특히 비선형 변환(예: 회전)에 대해 더 정밀한 검증을 가능하게 하기 위해 입력 분할 및 정밀 조정 기법을 활용하여 강건성 인증의 날카움을 향상시키기 위해.
• 다양한 데이터셋(MNIST, CIFAR-10, GTSRB), 네트워크 아키텍처(MLP, CNN), 의미적 공격 유형에 걸쳐 실험적으로 프레임워크를 검증하여 뛰어난 강건성 인증 성능을 입증하기 위해.

제안 방법

• 의미적 편향 레이어(SP-레이어)를 도입하여 입력 데이터를 의미적 편향이 등가의 유한한 ℓp-노름 편향로 표현되는 표현으로 변환함으로써, 기존 ℓp 기반 검증 도구와의 호환성을 확보한다.
• 특정 의미적 변환을 위한 SP-레이어를 설계: HSL 공간 변경(색조, 채도, 밝기), 밝기/대비 조정, 회전, 이동, 가림 등 각각을 미분 가능하고 유한한 변환으로 모델링한다.
• 입력 공간의 정밀 조정 및 분할 기법을 적용하여 인증 한계를 강화하며, 특히 비선형 변환(예: 회전)에 대해 입력 공간을 더 작은 간격으로 나누어 더 정밀한 검증을 수행한다.
• 암시적 및 명시적 분할 전략을 활용: 암시적 분할은 강건성 추정을 위한 간격 수를 증가시키고, 명시적 분할은 선택된 간격에서 한계를 정밀 조정하여 날카움을 향상시킨다.
• 변환된 모델에 대해 기존의 ℓp-노름 검증 도구(예: ℓ∞, ℓ2)를 활용하여 의미적 편향에 대한 인증된 강건성 마진을 계산한다.
• 특히 고차원적이거나 비선형적인 의미적 공간에서 계산 비용과 인증 날카움의 균형을 맞추기 위해 검증 파이프라인을 최적화한다.

실험 결과

연구 질문

• RQ1 의미적 편향(예: 색상 이동, 조명 조정)은 큰 ℓp-노름 편향을 유도하지만, 현재의 ℓp 기반 검증 도구로는 이를 효과적으로 처리할 수 없는 상황에서, 모델에 종속되지 않는 프레임워크가 이에 대한 검증을 확장할 수 있는가?
• RQ2 색조, 회전, 가림 등 다양한 의미적 변환을 정확히 표현하면서도 ℓp-노름 검증 도구와 호환되는 방식으로 SP-레이어를 설계할 수 있는가?
• RQ3 입력 분할 및 정밀 조정 기법을 통해 비선형 의미적 편향(예: 회전)에 대한 강건성 인증의 날카움을 얼마나 향상시킬 수 있는가?
• RQ4 Semantify-NN은 RGB 공간에서 의미적 편향을 직접 ℓp-노름 범위로 매핑하는 간단한 ℓp 기반 검증 대비 인증 성능에서 어떤가?
• RQ5 다양한 데이터셋 및 네트워크 아키텍처에서 다양한 의미적 위협 모델 하에 Semantify-NN이 확장 가능하고 효율적인 검증을 수행할 수 있는가?

주요 결과

• HSL 공간 변경과 같은 의미적 편향에 적용했을 때, Semantify-NN은 간단한 ℓp 기반 검증 대비 최대 2–3개 지수 정도 더 큰 인증된 강건성 마진을 달성한다.
• HSL 기반 편향의 경우, SP-레이어의 추가로 인해 직접 ℓp 기반 변환 대비 인증 하한이 4–50배 향상되어 검증의 날카움 향상이 뚜렷하게 입증된다.
• 입력 분할 및 정밀 조정 기법을 통해 인증 한계가 추가로 1.5–5배 향상되었으며, 특히 인증 하한과 실제 공격 강건성 간 격차를 줄이는 데 효과적이다.
• 회전 공격는 매우 비선형 변환을 유도하나, 암시적 분할 이후 명시적 분할을 통해 인증 가능한 간격 크기를 증가시키고 날카움을 향상시켰으며, 높은 계산 비용에도 불구하고 성능 향상이 있었다.
• 이동 및 가림 실험에서는 전수 탐색의 평균 실행 시간이 여전히 낮은 수준(12초 이내)을 유지했고, Semantify-NN은 최소한의 오버헤드로 날카운 한계를 달성했다.
• MNIST, CIFAR-10, GTSRB 데이터셋 전반에서 다양한 네트워크 아키텍처(MLP 및 CNN)에 걸쳐 일관된 성능 향상을 보이며, 일반성과 확장성의 가능성을 입증했다.