[논문 리뷰] A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples

Julia Lust, Alexandru Paul Condurache|arXiv (Cornell University)|2020. 08. 21.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 종합 검토는 예측 불확실성, 분포 외 데이터 탐지, 적대적 예제 탐지의 세 가지 핵심 요소를 심층 신경망(DNN)의 일반화 범위 평가라는 공통 프레임워크 아래 통합한다. 이는 세 가지 문제 모두가 동일한 근본 원인에서 비롯된다는 것을 주장한다: 충분한 특징 공간 분리성 부족으로 인한 열악한 일반화 능력이며, 이 분야들 간에 통합된 평가 및 방법론 접근을 통해 추론 시 DNN에 대한 신뢰도를 향상시키자고 제안한다.

ABSTRACT

Deep Neural Networks (DNNs) achieve state-of-the-art performance on numerous applications. However, it is difficult to tell beforehand if a DNN receiving an input will deliver the correct output since their decision criteria are usually nontransparent. A DNN delivers the correct output if the input is within the area enclosed by its generalization envelope. In this case, the information contained in the input sample is processed reasonably by the network. It is of large practical importance to assess at inference time if a DNN generalizes correctly. Currently, the approaches to achieve this goal are investigated in different problem set-ups rather independently from one another, leading to three main research and literature fields: predictive uncertainty, out-of-distribution detection and adversarial example detection. This survey connects the three fields within the larger framework of investigating the generalization performance of machine learning methods and in particular DNNs. We underline the common ground, point at the most promising approaches and give a structured overview of the methods that provide at inference time means to establish if the current input is within the generalization envelope of a DNN.

연구 동기 및 목표

• 심층 신경망(DNN)이 추론 시 미리 보지 않은 입력에 대해 올바르게 일반화할 수 있는지 판단하는 데 있어 핵심적인 과제를 해결하기 위해.
• 예측 불확실성, 분포 외 데이터 탐지, 적대적 예제 탐지의 세 개의 고립된 연구 분야를 DNN의 일반화 범위 평가라는 공통 목표 아래 통합하기 위해.
• 일반화 실패의 공통된 근본 원인, 예를 들어 특징 공간의 분리성 부족과 예측에 대한 과도한 자신감 등을 규명하기 위해.
• DNN의 일반화 영역 외부에 있는 입력을 탐지할 수 있는 추론 시 방법들에 대한 체계적이고 비교적인 개요를 제공하기 위해.
• 특히 메트릭 기반 접근 방식이 다중 작업 일반화 탐지에 가장 유망하다는 점을 강조하여, 분야 간 평가 및 방법론 통합을 촉진하기 위해.

제안 방법

• 기존의 추론 시 방법들을 세 영역으로 분류하고 맵핑한다: 예측 불확실성(결정 경계 근처), 분포 외 데이터 탐지(학습 데이터에서 멀리 떨어진 곳), 적대적 예제 탐지(변경된 입력).
• 공통된 근본 원인 분석: DNN가 입력 간의 상당한 차이가 있음에도 불구하고 특징 표현이 의미 있는 방식으로 입력을 분리하지 못할 경우 일반화에 실패한다.
• 일반화 탐지는 학습 데이터의 분포적 및 구조적 범위 내에 입력이 포함되어 있는지를 판단하는 것으로 간주되는 통합 프레임워크를 제안한다.
• 일반화 범위 외부에 있는 입력을 탐지하는 데의 능력을 기반으로 방법들을 평가하며, 특징 공간 거리 분석을 수행하는 메트릭 기반 접근 방식을 강조한다.
• 소프트맥스 레이어에서 유도된 신뢰도 점수의 한계를 강조하며, 과도한 자신감으로 인해 신뢰할 수 없음을 지적하고, 특징 수준 분석을 통한 대체 불확실성 추정 방법을 권장한다.
• 정보 흐름 분석 및 분포 모델링의 통찰을 통합하여 다양한 실패 유형에 걸쳐 탐지 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 예측 불확실성, 분포 외 데이터, 적대적 예제 탐지 분야에서 DNN 일반화 실패의 공통된 근본 원인은 무엇인가?
• RQ2 현재의 추론 시 탐지 방법들은 DNN의 일반화 영역 외부에 있는 입력을 식별하는 데 얼마나 다른 능력을 보이는가?
• RQ3 공통된 근본 원인으로 인해 한 분야에서 개발된 방법(예: 적대적 탐지)이 다른 분야(예: OOD 탐지)로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 기존의 DNN에서 유도된 전통적 신뢰도 점수(예: 소프트맥스 확률)가 왜 일반화 실패를 신뢰할 수 없게 되는가?
• RQ5 특히 메트릭 기반 또는 일관성 기반 방법 중에서 통합된 일반화 영역 탐지에 가장 유망한 방법 유형은 무엇인가?

주요 결과

• 예측 불확실성, 분포 외 데이터 탐지, 적대적 예제 탐지의 세 분야는 공통된 근본 원인을 공유한다: 특징 공간 분리성 부족으로 인한 일반화 실패.
• DNN에서 유도되는 전통적 신뢰도 점수, 예를 들어 소프트맥스 확률은 종종 과도하게 자신감을 가지며 일반화 성능을 신뢰할 수 없는 지표가 된다.
• 특징 공간 거리를 분석하는 메트릭 기반 방법은 OOD 탐지 및 적대적 예제 탐지 등 여러 탐지 작업에서 뛰어난 성능을 보인다.
• 일관성 기반 방법 또한 유망하지만, 다중 작업 탐지 상황에서는 메트릭 방법에 비해 성능이 열 劣하다.
• 다양한 진전에도 불구하고 현재까지는 세 탐지 설정 전반에서 최적의 성능을 내는 단일 방법이 존재하지 않으며, 분야 간 평가도 여전히 제한되어 있다.
• 이 조사의 결론은 향후 연구가 통합된 평가 프레임워크와 방법론 통합을 우선시해야 하며, 특히 적대적 예제 탐지의 통찰을 활용해 보다 광범위한 일반화 모니터링을 강화해야 한다.