[논문 리뷰] A Survey of Safety and Trustworthiness of Deep Neural Networks: Verification, Testing, Adversarial Attack and Defence, and Interpretability

Xiaowei Huang, Daniel Kroening외 6명|arXiv (Cornell University)|2018. 12. 18.

Adversarial Robustness in Machine Learning참고 문헌 176인용 수 53

한 줄 요약

깊은 신경망의 안전성과 신뢰성에 관한 포괄적 고찰로, 검증, 테스트, 적대적 공격/방어, 해석가능성을 다루며 202편의 논문을 검토한다.

ABSTRACT

In the past few years, significant progress has been made on deep neural networks (DNNs) in achieving human-level performance on several long-standing tasks. With the broader deployment of DNNs on various applications, the concerns over their safety and trustworthiness have been raised in public, especially after the widely reported fatal incidents involving self-driving cars. Research to address these concerns is particularly active, with a significant number of papers released in the past few years. This survey paper conducts a review of the current research effort into making DNNs safe and trustworthy, by focusing on four aspects: verification, testing, adversarial attack and defence, and interpretability. In total, we survey 202 papers, most of which were published after 2017.

연구 동기 및 목표

• DNN의 신뢰성 개념을 인증 및 설명 과정을 통해 설명한다.
• DNN 안전성과 신뢰성을 위한 검증 및 테스트 기법을 검토한다.
• 적대적 공격 방법과 이에 대응하는 방어를 요약한다.
• DNN 의사결정을 더 이해하기 쉽도록 해석가능성 접근법을 조사한다.

제안 방법

• 주로 2017년 이후에 발표된 202편의 논문에 대한 체계적 문헌고찰.
• 로컬 강건성, 출력 도달성, Lipschitz 속성 등 안전성 속성의 분류.
• 기법을 검증(결정적 보장, 경계 및 통계적 보장), 테스트(포괄성 기준 및 테스트 케이스 생성), 공격/방어, 해석가능성으로 조직화.

실험 결과

연구 질문

• RQ1 DNN의 안전성과 신뢰성을 정의하는 속성은 무엇인가? 예: 로버스트니스, 도달성
• RQ2 검증, 테스트, 적대적 방어 및 해석가능성이 DNN의 인증 및 설명 프레임워크에 어떻게 기여할 수 있는가?
• RQ3 검증 및 테스트 접근법이 제공하는 주요 방법론 및 보장은 무엇인가?
• RQ4 적대적 공격에 대한 효과적인 방어 전략은 무엇이며 어떻게 인증되는가?
• RQ5 설명 요구를 충족시키는 해석가능성 기법은 무엇인가?

주요 결과

• DNN 검증은 입증 가능한 보장을 제공하지만 대규모 모델에 대한 확장성에 어려움이 있다.
• 테스트는 포괄성 가이드 테스트 케이스 생성을 통한 계산적으로 가벼운 확신을 제공한다.
• 적대적 공격 기술은 취약점을 강조하고 방어는 강건성을 향상시키고 인증된 보장을 제공하는 것을 목표로 한다.
• 해석가능성 방법은 인스턴스별 및 모델 수준의 설명을 제공하여 사용자의 신뢰를 높인다.
• 본 설문은 배치 전 인증(certification) 및 라이프타임 설명(explication)을 핵심 신뢰 구축 프로세스로 강조한다.