[논문 리뷰] Input Validation for Neural Networks via Runtime Local Robustness Verification

Jiangchao Liu, Liqian Chen외 2명|arXiv (Cornell University)|2020. 02. 09.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 9

한 줄 요약

이 논문은 런타임 시에 신경망의 입력을 검증하기 위해 局소적 강건성 검증을 사용하는 방법을 제안한다. 이는 올바르게 분류된 입력은 오분류되거나 적대적인 예제보다 훨씬 더 큰 강건성 반경을 가지는 관찰에 기반한다. 임계값을 설정하거나 강건성 반경을 정규분포로 모델링함으로써, 이 방법은 모델 정확도를 향상시키고 특히 강력한 적대적 공격에 대비할 수 있다.

ABSTRACT

Local robustness verification can verify that a neural network is robust wrt. any perturbation to a specific input within a certain distance. We call this distance Robustness Radius. We observe that the robustness radii of correctly classified inputs are much larger than that of misclassified inputs which include adversarial examples, especially those from strong adversarial attacks. Another observation is that the robustness radii of correctly classified inputs often follow a normal distribution. Based on these two observations, we propose to validate inputs for neural networks via runtime local robustness verification. Experiments show that our approach can protect neural networks from adversarial examples and improve their accuracies.

연구 동기 및 목표

• 안전이 중요한 애플리케이션에서 치명적인 실패를 유발할 수 있는 신경망의 적대적 예제에 대한 취약성을 해결하기 위해.
• 강건성 반경이 유효한 입력과 적대적 또는 잘못 분류된 입력을 구분하는 신뢰할 수 있는 지표로 기능할 수 있는지 탐색하기 위해.
• 전역 검증이나 오라클 액세스 없이도 실현 가능한 런타임 입력 검증 기법을 개발하기 위해.
• 추론 시 강건성 반경이 낮은 입력을 걸러내어 신경망의 강건성과 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 국소적 강건성 검증을 사용하여 입력의 강건성 반경을 계산하며, 이는 네트워크의 예측이 그대로 유지되는 최대 편향 크기를 측정한다.
• 유효한 입력은 적대적 또는 자연적으로 잘못 분류된 입력보다 훨씬 더 큰 강건성 반경을 가진다는 경험적 관찰을 활용한다.
• 임계값 기반 검증 방법을 제안하며, 사용자가 정의한 임계값 이하의 강건성 반경을 가진 입력은 잠재적인 적대적 또는 손상된 입력으로 간주하여 기각한다.
• 분포 기반 검증 방법을 도입하여 청소년 입력의 강건성 반경을 정규분포로 모델링하고, 이질적인 값을 가진 입력을 의심스럽게 표시한다.
• 대규모 네트워크에 적합한 근사 강건성 검증 기법을 사용하여 실시간 추론 시점 점검을 가능하게 한다.
• 재학습이나 아키텍처 변경이 필요 없어 사후 방어로 적용 가능하다.

실험 결과

연구 질문

• RQ1 강건성 반경이 유효한 입력, 자연적으로 잘못 분류된 입력, 적대적 예제 사이에서 신뢰할 수 있는 분류 기준이 될 수 있는가?
• RQ2 올바르게 분류된 입력의 강건성 반경은 정규분포와 같은 일관된 통계적 분포를 따르는가?
• RQ3 국소적 강건성 검증이 추론 시점에서 입력을 검증하고 모델 정확도를 향상시키는 데 효과적으로 사용될 수 있는가?
• RQ4 제안된 방법은 특히 화이트박스 및_BLK박스 환경에서의 강력한 적대적 공격에 얼마나 효과적인가?

주요 결과

• 특히 강력한 공격에서 유래한 입력들에 비해 유효한 입력은 적대적 예제나 자연적으로 잘못 분류된 입력보다 훨씬 더 큰 강건성 반경을 보인다.
• 올바르게 분류된 입력의 강건성 반경은 종종 정규분포를 따르며, 이는 통계적 모델링을 통한 탐지에 유용하다.
• 임계값 기반 검증 방법은 낮은 강건성 반경을 가진 입력을 걸러내어 모델 정확도를 향상시키고 오분류를 줄인다.
• 분포 기반 방법은 이질적인 강건성 반경을 가진 입력을 식별함으로써 연속적 또는 진화하는 공격을 효과적으로 탐지할 수 있다.
• 제안된 방법은 화이트박스 및 블랙박스 설정에서의 강력한 적대적 공격에 효과적이며, 기존의 탐지 기법보다 뛰어나거나 동등한 성능을 보인다.
• 이 방법은 실용적이고 확장 가능하여 재학습이나 아키텍처 수정 없이 실시간 입력 검증을 가능하게 한다.