[논문 리뷰] Towards Characterizing Adversarial Defects of Deep Learning Software from the Lens of Uncertainty

Xiyue Zhang, Xiaofei Xie외 6명|arXiv (Cornell University)|2020. 04. 24.

Adversarial Robustness in Machine Learning참고 문헌 55인용 수 5

한 줄 요약

이 논문은 예측 신뢰도(PCS)와 변동 비율(VRO)을 분석하여 딥러닝 소프트웨어의 적대적 결함를 특성화하기 위한 불확실성 기반 접근법을 제안한다. 기존 데이터에서 두 가지 주요 불확실성 패턴을 식별하고, 희귀하고 탐지하기 어려운 적대적 예제를 생성하기 위해 유전 알고리즘(GA) 기반 테스트 생성 기법을 도입하여 기존 방어 기법의 성공률을 35% 감소시키며, 강건성 평가에서 다양한 데이터의 필요성을 부각시킨다.

ABSTRACT

Over the past decade, deep learning (DL) has been successfully applied to many industrial domain-specific tasks. However, the current state-of-the-art DL software still suffers from quality issues, which raises great concern especially in the context of safety- and security-critical scenarios. Adversarial examples (AEs) represent a typical and important type of defects needed to be urgently addressed, on which a DL software makes incorrect decisions. Such defects occur through either intentional attack or physical-world noise perceived by input sensors, potentially hindering further industry deployment. The intrinsic uncertainty nature of deep learning decisions can be a fundamental reason for its incorrect behavior. Although some testing, adversarial attack and defense techniques have been recently proposed, it still lacks a systematic study to uncover the relationship between AEs and DL uncertainty. In this paper, we conduct a large-scale study towards bridging this gap. We first investigate the capability of multiple uncertainty metrics in differentiating benign examples (BEs) and AEs, which enables to characterize the uncertainty patterns of input data. Then, we identify and categorize the uncertainty patterns of BEs and AEs, and find that while BEs and AEs generated by existing methods do follow common uncertainty patterns, some other uncertainty patterns are largely missed. Based on this, we propose an automated testing technique to generate multiple types of uncommon AEs and BEs that are largely missed by existing techniques. Our further evaluation reveals that the uncommon data generated by our method is hard to be defended by the existing defense techniques with the average defense success rate reduced by 35\%. Our results call for attention and necessity to generate more diverse data for evaluating quality assurance solutions of DL software.

연구 동기 및 목표

• 적대적 예제(AE)와 딥러닝 결정의 불확실성 간의 관계를 조사하기 위해.
• 기존 기법으로 생성된 정상 예제(BE)와 AE에서의 불확실성 패턴을 식별하고 분류하기 위해.
• 기존 적대적 공격 및 테스팅 기법이 놓친 흔하지 않은 입력 데이터 패턴을 발견하고 생성하기 위해.
• 생성된 데이터가 기존 방어 기법을 우회하는 데 얼마나 효과적인지 평가하기 위해.
• 딥러닝 소프트웨어 품질 보증에서 더 다양한 데이터 생성을 촉진하기 위해.

제안 방법

• 네 가지 베이지안 불확실성 메트릭과 하나의 단일 샘플 메트릭(예측 신뢰도 점수)이 BE와 AE를 구분하는 데 얼마나 효과적인지 실증적으로 평가하기 위해.
• 후속 분석을 위해 PCS와 원본 예측 기반 변동 비율(VRO)을 가장 효과적인 메트릭으로 선정하기 위해.
• 최신 공격 및 테스팅 기법으로부터 유도된 BE와 AE의 불확실성 패턴을 분석하여, 두 가지 주요 패턴을 식별하기 위해: AEs는 낮은 PCS와 높은 VRO를, BEs는 높은 PCS와 낮은 VRO를 보임.
• 희귀한 불확실성 패턴을 가진 입력을 생성하기 위한 유전 알고리즘(GA) 기반 자동 테스트 생성 기법을 제안하기 위해.
• 공통 패턴에서 벗어나 고불확실성 다양성을 갖춘 희귀한 AE와 BE를 생성하기 위해.
• 기존 방어 기법에 대해 생성된 데이터를 평가하여 그 강건성과 우회 가능성 평가하기 위해.

실험 결과

연구 질문

• RQ1 다양한 불확실성 메트릭은 정상 예제와 적대적 예제를 구분하는 데 얼마나 효과적인가?
• RQ2 기존 공격 및 테스팅 기법으로 생성된 정상 예제와 적대적 예제가 따르는 주요 불확실성 패턴은 무엇인가?
• RQ3 기존 기법이 놓친 희귀한 불확실성 패턴은 어떤 모습을 띠며, 이를 체계적으로 생성할 수 있는가?
• RQ4 생성된 희귀한 입력은 기존 방어 기법을 우회하는 데 얼마나 효과적인가?
• RQ5 불확실성 패턴의 데이터 다양성이 딥러닝 소프트웨어의 강건성 평가에 얼마나 영향을 미치는가?

주요 결과

• 예측 신뢰도 점수(PCS)와 원본 예측 기반 변동 비율(VRO)은 정상 예제와 적대적 예제를 구분하는 데 가장 효과적인 메트릭이다.
• 기존의 적대적 및 정상 예제들은 주로 두 가지 공통된 불확실성 패턴을 따르며: AEs는 낮은 PCS와 높은 VRO를, BEs는 높은 PCS와 낮은 VRO를 보인다.
• 특히 높은 VRO와 낮은 PCS를 갖는 많은 불확실성 패턴들이 아직 충분히 탐색되지 않았으며, 기존 공격 및 테스팅 기법에 의해 대부분 놓쳐지고 있다.
• 제안된 GA 기반 테스트 생성 방법은 낮은 PCS와 높은 VRO를 포함한 다양한 불확실성 패턴을 가진 희귀한 입력을 성공적으로 생성한다.
• 이 방법으로 생성된 희귀 데이터는 기존 방어 기법의 평균 방어 성공률을 35% 감소시켜 더 높은 우회 가능성을 시사한다.
• 결과적으로 현재 딥러닝 강건성 평가의 한계는 데이터 다양성에 기인하며, 더 넓고 불확실성 인식 기반의 테스트 데이터 생성이 필요하다는 점을 입증한다.