[논문 리뷰] Towards the Quantification of Safety Risks in Deep Neural Networks

Peipei Xu, Wenjie Ruan외 1명|arXiv (Cornell University)|2020. 09. 13.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망(DNN)의 안전성 위험을 통합된 안전성 성질을 기반으로 립시츠 기반 메트릭으로 모델링함으로써 일반적인 프레임워크인 DeepQuant을 제안한다. 이는 의사결정 경계 근처에서 인간은 명확한데도 신경망이 확신하지 못하는 입력, 즉 불확실성 예제를 도입하고, GPU 텐서 병렬화를 통한 도함수 기반 최적화 없이 효율적이고 확장 가능한 계산을 실현하여 MNIST, CIFAR-10 및 ImageNet 모델에서 타이트한 강건성과 불확실성 정량화를 달성한다.

ABSTRACT

Safety concerns on the deep neural networks (DNNs) have been raised when they are applied to critical sectors. In this paper, we define safety risks by requesting the alignment of the network's decision with human perception. To enable a general methodology for quantifying safety risks, we define a generic safety property and instantiate it to express various safety risks. For the quantification of risks, we take the maximum radius of safe norm balls, in which no safety risk exists. The computation of the maximum safe radius is reduced to the computation of their respective Lipschitz metrics - the quantities to be computed. In addition to the known adversarial example, reachability example, and invariant example, in this paper we identify a new class of risk - uncertainty example - on which humans can tell easily but the network is unsure. We develop an algorithm, inspired by derivative-free optimization techniques and accelerated by tensor-based parallelization on GPUs, to support efficient computation of the metrics. We perform evaluations on several benchmark neural networks, including ACSC-Xu, MNIST, CIFAR-10, and ImageNet networks. The experiments show that, our method can achieve competitive performance on safety quantification in terms of the tightness and the efficiency of computation. Importantly, as a generic approach, our method can work with a broad class of safety risks and without restrictions on the structure of neural networks.

연구 동기 및 목표

• 안전 임계 시스템에 적용되는 깊이 있는 신경망(DNN)의 다양한 안전성 위험을 정량화하기 위한 일반적이고 확장 가능하며 검증 가능한 방법의 부족을 해결하기 위해.
• 다양한 위험 유형, 예를 들어 대비 위험, 도달 가능성 위험, 불변 위험 및 불확실성 위험을 포함해 표현할 수 있는 일반적인 안전성 성질 표현을 정의하기 위해.
• 입력 주변의 최대 안전한 노름 볼 반경을 효율적이고 확장 가능하며 검증 가능한 방법으로 계산하여, 그 반경 내에 안전성 위험이 존재하지 않음을 보장하기 위해.
• 인간의 인식은 명확한데도 DNN 출력이 매우 불확실한 새로운 안전성 위험 유형—불확실성 예제—를 체계적으로 식별하고 정량화하기 위해.
• 이상적인 모델인 ImageNet에서 사용되는 대규모 DNN의 실용적인 안전성 평가를 이론적 보장과 경쟁 가능한 타이트함을 갖추고 가능하게 하기 위해.

제안 방법

• DNN 출력에 기반한 일반적인 안전성 성질을 정의하여, 대비 위험, 도달 가능성 위험, 불변 위험 및 불확실성 위험 등 다양한 위험 유형을 표현할 수 있도록 한다.
• 안전성 위험을 주어진 입력 주변에서 위험이 존재하지 않는 Lp-노름 볼의 최대 반경으로 정량화하며, 안전성 성질의 립시츠 상수를 기반으로 보수적인 추정치를 사용한다.
• 최대 안전 반경 계산을 도함수 기반 최적화 알고리즘을 사용한 최적화 문제로 제시하며, 확률적 탐색 방법에 영감을 받은 도함수 기반 최적화 알고리즘을 사용한다.
• GPU 기반 텐서 병렬화를 통해 계산을 가속화하여, 복잡한 아키텍처와 활성화 함수를 가진 대규모 모델로의 효율적 확장 가능성을 확보한다.
• DNN의 출력 분포와 균일 분포 간의 KL 발산을 사용하여 불확실성 예제를 탐지하고 정량화하는 데 메트릭으로 활용한다.
• DeepQuant 도구로 프레임워크를 구현하여 GitHub에 오픈소스로 제공하며, L∞-노름 및 기타 노름을 사용해 MNIST, CIFAR-10 및 ImageNet 모델에 대한 평가를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 안전성 위험, 포함해 기존 및 신규 위험 유형을 정량화할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 주어진 입력과 DNN에 대해 최대 안전한 노름 볼 반경을 보수적이고 효율적으로 계산할 수 있으며, 이에 이론적 보장이 제공되는가?
• RQ3 네트워크의 깊이와 아키텍처가 안전성 위험, 특히 불확실성 위험의 정량화에 미치는 영향은 무엇인가?
• RQ4 인간은 확신하지만 DNN는 혼란스러운 불확실성 예제를 체계적으로 탐지하고 정량화할 수 있는가?
• RQ5 제안된 방법은 ImageNet에서 사용되는 대규모 실세계 DNN에 어떻게 확장 가능한가? 기존 접근법과의 성능 비교는 어떻게 되는가?

주요 결과

• DeepQuant는 DNN 출력과 균일 분포 간의 KL 발산을 최소화함으로써 이전에 탐색되지 않은 안전성 위험인 불확실성 예제를 성공적으로 식별하고 정량화하며, 높은 모델 불확실성 영역을 드러낸다.
• MNIST에서 이 방법은 DNN-2의 경우 32.16에서 DNN-6의 경우 77.48까지 다양하게 변하는 평균 L∞-노름 강건성 값을 달성하며, DNN-4와 DNN-5는 정확도(99.06–99.16%)와 강건성 사이의 균형 잡힌 무게를 지닌다.
• CIFAR-10 및 ImageNet 모델에 대해 DeepQuant는 GPU 가속 텐서 병렬화를 통해 확장성과 효율성을 입증하여 대규모 네트워크의 평가를 가능하게 한다.
• 불확실성 정량화 결과는 노름 볼 반경이 증가할수록 불확실성이 급격히 증가하는 경향을 보이며, DNN-1과 DNN-2는 d=0.15에서 특히 높은 불확실성 수준을 보인다.
• 불확실성 탐색 과정에서 생성된 중간 이미지들은 점차 모호성이 증가하는 경향을 보이며, KL 발산이 0으로 감소하여 최적의 교란 상태에서 모델의 완전한 혼란 상태를 나타낸다.
• DeepQuant는 자동으로 그리고 통찰력 있게 불확실성 예제를 드러내는 최초의 도구로서, 대비 강건성 외에도 안전성 평가의 새로운 차원을 제공한다.