[논문 리뷰] Generating and Detecting True Ambiguity: A Forgotten Danger in DNN Supervision Testing

Michael Weiß, André García Gómez외 1명|arXiv (Cornell University)|2022. 07. 21.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 정규화된 적대적 autoencoder의 잠재공간에서 기울기 유도 샘플링을 사용하여 모델 독립적이고 인간이 레이블링한 모호한 이미지를 생성하는 새로운 방법인 AmbiGuess를 소개한다. 주요 기여는 소프트맥스 기반 방법은 모호성에 강력하지만 적대적/손상된 입력에는 취약하고, OOD 검출기는 진정한 모호성에 대해 빈약하게 작동한다는 것을 보여주는 첫 번째 종합적인 실증 연구이다.

ABSTRACT

Deep Neural Networks (DNNs) are becoming a crucial component of modern software systems, but they are prone to fail under conditions that are different from the ones observed during training (out-of-distribution inputs) or on inputs that are truly ambiguous, i.e., inputs that admit multiple classes with nonzero probability in their labels. Recent work proposed DNN supervisors to detect high-uncertainty inputs before their possible misclassification leads to any harm. To test and compare the capabilities of DNN supervisors, researchers proposed test generation techniques, to focus the testing effort on high-uncertainty inputs that should be recognized as anomalous by supervisors. However, existing test generators aim to produce out-of-distribution inputs. No existing model- and supervisor independent technique targets the generation of truly ambiguous test inputs, i.e., inputs that admit multiple classes according to expert human judgment. In this paper, we propose a novel way to generate ambiguous inputs to test DNN supervisors and used it to empirically compare several existing supervisor techniques. In particular, we propose AmbiGuess to generate ambiguous samples for image classification problems. AmbiGuess is based on gradient-guided sampling in the latent space of a regularized adversarial autoencoder. Moreover, we conducted what is -- to the best of our knowledge -- the most extensive comparative study of DNN supervisors, considering their capabilities to detect 4 distinct types of high-uncertainty inputs, including truly ambiguous ones. We find that the tested supervisors' capabilities are complementary: Those best suited to detect true ambiguity perform worse on invalid, out-of-distribution and adversarial inputs and vice-versa.

연구 동기 및 목표

• DNN 감시자 평가를 위한 표준화되고 인간이 검증한 모호한 테스트 데이터의 부족을 해결한다. 특히 애로타이픽 불확실성에 초점을 맞춘다.
• 기존의 테스트 생성 기법이 외부 분포(OOD) 입력에 집중하지만, 다수의 레이블이 타당한 진정한 모호성 입력을 간과하고 있음을 밝힌다.
• DNN 및 감시자에 종속되지 않는 방식으로 이미지 분류 작업을 위한 다양한 레이블이 부여된 모호한 이미지를 생성한다.
• 지금까지 가장 광범위한 DNN 감시자 비교 평가를 수행하여 네 가지 다른 유형의 고불확실성 입력(정상, 모호, 적대적, 손상됨)을 탐지하는 능력을 평가한다.
• MNIST 및 Fashion-MNIST용 사전 컴파일된 두 개의 모호한 데이터셋을 공개하여 새로운 DNN 감시자에 대한 공정하고 신뢰할 수 있는 평가를 가능하게 한다.

제안 방법

• 정규화된 적대적 autoencoder의 잠재공간에서 기울기 유도 샘플링 기법인 AmbiGuess를 제안하여 모호한 이미지를 생성한다.
• 클래스 조건부 기울기를 통해 의미적 구조를 유지하면서도 모호한 영역으로의 제어 가능한 변형을 가능하게 하는 잠재공간을 사용한다.
• 인간 평가와 통계적 일관성 검증을 통해 생성된 샘플이 가상의 오라클(예: 인간 전문가)에게 모호하다고 간주되도록 보장한다.
• MNIST 및 Fashion-MNIST를 기반으로 인간 검증 모호 레이블이 부여된 두 개의 데이터셋인 AmbiMNIST와 AmbiFashionMNIST를 생성한다.
• 레이블 엔트로피, 다수 평가자 간 일치도, 모델 신뢰도, 다양성 등의 네 가지 지표를 적용하여 모호성과 데이터 품질을 검증한다.
• AUC-ROC 및 F1 점수와 같은 표준 지표를 사용하여 네 가지 입력 유형(정상, 모호, 적대적, 손상됨)에 대해 16개의 DNN 감시자를 평가한다.

실험 결과

연구 질문

• RQ1 DNN 및 감시자에 종속되지 않는 방식으로 이미지 분류 작업을 위한 다양한 레이블이 부여되고 인간이 검증한 모호한 이미지를 생성할 수 있는가?
• RQ2 기존의 DNN 감시자들은 적대적, 손상된, 또는 잘못된 입력과 같은 다른 불확실성 유형에 비해 진정한 모호한 입력을 탐지하는 데 얼마나 잘 작동하는가?
• RQ3 다양한 감시자 기법 간에 상호 보완적인 탐지 능력이 존재하는가? 일부 기법은 모호성 탐지에 뛰어나지만 다른 불확실성 유형에선 성능이 떨어지는가?
• RQ4 소프트맥스 기반 감시자(예: MC-Dropout, 앙상블)는 진정한 모호성을 탐지하는 데서 OOD 검출 기반 감시자보다 얼마나 뛰어나게 작동하는가?
• RQ5 제안된 AmbiGuess로 생성된 데이터셋은 애로타이픽 불확실성 탐지용 새로운 DNN 감시자를 공정하고 신뢰성 있게 평가하는 데 사용될 수 있는가?

주요 결과

• AmbiGuess는 레이블 엔트로피와 다수 평가자 간 일치도를 포함한 네 가지 정량적 모호성 지표에서 기존의 오직 하나뿐이던 모호한 데이터셋(AmbiguousMNIST)을 뛰어넘었다.
• 소프트맥스 기반 감시자(예: MC-Dropout, 앙상블)는 모호한 입력에서 높은 AUC-ROC 점수(예: >0.95)를 기록했지만, 적대적 및 손상된 입력에선 성능이 떨어져 일부 경우 AUC-ROC가 0.60 이하로 떨어졌다.
• OOD 검출 기반 감시자(예: Surprise Adequacy, Autoencoder 기반)는 적대적 및 손상된 입력에서 강력한 성능을 보였음(AUC-ROC >0.90) 하지만, 내부 분포의 모호한 입력을 탐지하지 못했으며 AUC-ROC가 0.55 이하였다.
• 연구 결과는 명백한 트레이드오프를 드러냈다: 한 가지 유형의 불확실성(예: 모호성)에 최적화된 감시자는 다른 유형(예: OOD)에선 효과가 떨어지며, 이는 상호 보완적인 탐지 능력을 시사한다.
• 결과는 네 가지 다른 DNN 아키텍처(예: LeNet, VGG 유사, ResNet)에 걸쳐 일관되었으며, 아키텍처의 다양성에도 불구하고 연구 결과의 강건성을 확인했다.
• 저자들은 향후 연구 및 도구 평가를 지원하기 위해 허용성 라이선스를 적용한 두 개의 오픈소스 모호한 데이터셋(AmbiMNIST 및 AmbiFashionMNIST)을 공개했다.