[논문 리뷰] DeepGauge: Comprehensive and Multi-Granularity Testing Criteria for Gauging the Robustness of Deep Learning Systems.

Lei Ma, Felix Juefei-Xu외 10명|arXiv (Cornell University)|2018. 03. 20.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 47

한 줄 요약

DeepGauge는 표준 정확도 지표를 넘어서 딥러닝 시스템의 내구성과 견고성을 평가하기 위해 종합적이고 다중 군집도 테스팅 프레임워크를 제안한다. 다양한 추상화 수준에서 다양한 테스팅 기준을 통합함으로써, 적대적 공격에 대한 모델의 내구성에 대한 더 철저한 평가를 가능하게 하며, 벤치마크 데이터셋에서 다섯 개인 딥러닝 시스템과 네 가지 적대적 생성 기법을 대상으로 효과를 입증한다.

ABSTRACT

Deep learning defines a new data-driven programming paradigm that constructs the internal system logic of a crafted neuron network through a set of training data. Deep learning (DL) has been widely adopted in many safety-critical scenarios. However, a plethora of studies have shown that the state-of-the-art DL systems suffer from various vulnerabilities which can lead to severe consequences when applied to real-world applications. Currently, the robustness of a DL system against adversarial attacks is usually measured by the accuracy of test data. Considering the limitation of accessible test data, good performance on test data can hardly guarantee the robustness and generality of DL systems. Different from traditional software systems which have clear and controllable logic and functionality, a DL system is trained with data and lacks thorough understanding. This makes it difficult for system analysis and defect detection, which could potentially hinder its real-world deployment without safety guarantees. In this paper, we propose DeepGauge, a comprehensive and multi-granularity testing criteria for DL systems, which renders a complete and multi-faceted portrayal of the testbed. The in-depth evaluation of our proposed testing criteria is demonstrated on two well-known datasets, five DL systems, with four state-of-the-art adversarial data generation techniques. The effectiveness of DeepGauge sheds light on the construction of robust DL systems.

연구 동기 및 목표

• 딥러닝 시스템의 내구성을 평가할 때 표준 테스트 정확도에만 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 다양한 군집도에서 모델 행동의 여러 측면을 포괄하는 종합적인 테스팅 기준을 제공하기 위해.
• 투명한 논리가 없고 디버깅하거나 검증하기 어려운 딥러닝 시스템의 더 깊은 분석을 가능하게 하기 위해.
• 숨겨진 취약점을 식별함으로써 안전이 중요한 응용 분야에서 딥러닝 시스템의 신뢰성과 안전성을 향상시키기 위해.
• 체계적인 평가를 통해 더 견고하고 일반화 능력이 뛰어난 딥러닝 모델의 개발을 지원하기 위해.

제안 방법

• 노드 수준에서 시스템 수준의 행동에 이르기까지 다양한 추상화 수준에서 딥러닝 시스템을 평가하는 다중 군집도 테스팅 프레임워크를 제안한다.
• 활성화 패턴, 기울기 민감도, 변형에 대한 출력 안정성 등 다양한 테스팅 기준을 통합한다.
• 모델의 스트레스 조건 하에서의 행동을 탐색하기 위해 최신의 네 가지 적대적 데이터 생성 기법을 활용한다.
• 광범위한 적용 가능성과 재현 가능성을 확보하기 위해 두 가지 잘 알려진 벤치마크 데이터셋에 프레임워크를 적용한다.
• 정량적 지표와 정성적 분석의 조합을 통해 다차원적인 모델 내구성 평가를 수행한다.
• 자동화된 테스팅과 심층적 모델 진단을 모두 지원하는 완전한 평가 파이프라인을 수립한다.

실험 결과

연구 질문

• RQ1 표준 테스트 정확도를 넘어서 다양한 실패 유형을 포괄하는 내구성을 평가하기 위해 딥러닝 시스템을 어떻게 평가할 수 있는가?
• RQ2 기존의 적대적 공격는 표준 정확도 지표가 감지하지 못하는 취약점을 얼마나 잘 드러내는가?
• RQ3 다중 군집도 테스팅 프레임워크는 기존 평가 방식으로는 드러나지 않는 딥러닝 모델의 숨겨진 약점을 드러낼 수 있는가?
• RQ4 제안된 프레임워크는 다양한 딥러닝 아키텍처와 데이터셋에서 내구성 문제를 식별하는 데 얼마나 효과적인가?
• RQ5 딥러닝 시스템 신뢰성의 종합적이고 체계적인 평가를 가능하게 하는 핵심 기준은 무엇인가?

주요 결과

• DeepGauge는 표준 정확도 기반 평가로는 감지되지 않는 딥러닝 모델의 내구성 문제를 성공적으로 식별한다.
• 적대적 변형에 노출되었을 때 다섯 개인 다양한 딥러닝 시스템에서 심각한 취약점이 드러났다.
• 다중 군집도 분석을 통해 뉴런, 레이어, 시스템 수준에서의 실패 패턴을 파악함으로써 모델 행동에 대한 더 깊은 통찰을 제공한다.
• 두 가지 벤치마크 데이터셋에 대한 평가를 통해 프레임워크의 효과성이 다양한 데이터 분포와 모델 아키텍처에서 검증되었다.
• 네 가지 적대적 생성 기법의 통합을 통해 프레임워크가 다양한 공격 전략 하에서 모델을 스트레스 테스트할 수 있는 능력을 입증했다.
• DeepGauge는 모델 내구성에 대한 더 완전하고 신뢰할 수 있는 평가를 가능하게 하여 실생활 응용 분야에서의 안정적 배포를 지원한다.