[논문 리뷰] Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization

Yibing Liu, Chris Xing Tian외 3명|arXiv (Cornell University)|2023. 06. 05.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망 내 뉴런이 내분포(InD) 훈련 데이터에 의해 얼마나 철저히 활성화되는지를 수량화하는 새로운 측정법인 뉴런 활성화 커버리지(Neural Activation Coverage, NAC)를 소개한다. KL 발산의 기울기를 통한 뉴런 영향 모델링을 통해 NAC는 최신 기술 수준의 외분포(OOD) 탐지(10.60% FPR95 향상, CIFAR-100 기준)를 가능하게 하며, 모델 일반화 능력과의 강한 상관관계를 보이며, 기존의 표준 검증 지표를 능가하는 강건한 모델 선택을 가능하게 한다.

ABSTRACT

The out-of-distribution (OOD) problem generally arises when neural networks encounter data that significantly deviates from the training data distribution, i.e., in-distribution (InD). In this paper, we study the OOD problem from a neuron activation view. We first formulate neuron activation states by considering both the neuron output and its influence on model decisions. Then, to characterize the relationship between neurons and OOD issues, we introduce the extit{neuron activation coverage} (NAC) -- a simple measure for neuron behaviors under InD data. Leveraging our NAC, we show that 1) InD and OOD inputs can be largely separated based on the neuron behavior, which significantly eases the OOD detection problem and beats the 21 previous methods over three benchmarks (CIFAR-10, CIFAR-100, and ImageNet-1K). 2) a positive correlation between NAC and model generalization ability consistently holds across architectures and datasets, which enables a NAC-based criterion for evaluating model robustness. Compared to prevalent InD validation criteria, we show that NAC not only can select more robust models, but also has a stronger correlation with OOD test performance.

연구 동기 및 목표

• 분포 이탈 상황에서 모델이 실패하는 깊이 있는 신경망의 외분포(OOD) 탐지 및 일반화 문제에 도전한다.
• OOD 민감도의 근본 원인을 반영하는 더 체계적인 뉴런 수준의 모델 행동 특성화를 식별한다.
• 내분포(InD) 데이터 하에서 뉴런 활성화 패턴을 수량화하는 단순하면서도 효과적인 지표인 뉴런 활성화 커버리지(NAC)를 개발한다.
• NAC가 기존의 내분포 검증 기준을 뛰어넘어 OOD 탐지 및 모델 일반화 평가 모두에서 향상된 성능을 보임을 입증한다.
• 다양한 아키텍처와 데이터셋 간에 NAC와 모델 강건성 사이에 강력하고 일관된 상관관계를 확립한다.

제안 방법

• 모델 결정에 대한 뉴런 출력과 그 영향력을 조합하여 뉴런 활성화 상태를 정의하며, 이를 위해 네트워크 출력과 균일 벡터 간의 KL 발산 기울기를 사용한다.
• 내분포 훈련 데이터에 의해 뉴런 상태가 얼마나 자주 활성화되는지를 수량화하는 통계적 측정법으로 뉴런 활성화 커버리지(NAC)를 도입한다.
• 불확실성 추정(NAC-UE)에 NAC를 활용한다: 낮은 커버리지 점수는 높은 불확실성을 의미하며, 이는 OOD 탐지에 활용된다.
• 모델 평가(NAC-ME)에 NAC를 활용한다: 모든 뉴런의 커버리지 분포를 통합하여 모델의 강건성을 평가한다.
• 소프트웨어 테스팅의 커버리지 분석 원리를 활용하여, OOD 입력 하에서 부족하게 활성화되는 뉴런을 잠재적 실패 지점으로 식별한다.
• CIFAR-10, CIFAR-100, ImageNet-1K 세 가지 벤치마크와 OOD 일반화 평가를 위한 DomainBed 벤치마크에 NAC를 적용한다.

실험 결과

연구 질문

• RQ1 내분포 데이터 하에서의 뉴런 활성화 패턴이 내분포 입력과 외분포 입력을 효과적으로 구분할 수 있는가?
• RQ2 다양한 아키텍처와 데이터셋 간에 뉴런의 활성화 커버리지가 모델 일반화 능력과 상관관계를 가지는가?
• RQ3 NAC 기반의 불확실성 추정이 기존의 OOD 탐지 방법을 능가할 수 있는가?
• RQ4 NAC 기반의 모델 평가가 기존의 내분포 검증 지표보다 더 강건한 모델을 식별할 수 있는가?
• RQ5 뉴런 커버리지와 분포 이탈 상황에서의 모델 강건성 사이에 근본적인 연관성이 존재하는가?

주요 결과

• NAC-UE는 CIFAR-100에서 경쟁 기법인 ViM 대비 FPR95에서 10.60% 향상되고 AUROC에서 4.58% 향상되어 OOD 탐지 분야에서 SOTA 성능을 확립한다.
• PACS 데이터셋에서 NAC-ME는 OOD 일반화 평가에서 평균 69.16%의 정확도를 기록하며, 검증 기반 방법(65.04%)을 능가하고 OOD 테스트 성능과의 상관관계가 더 강하다.
• OfficeHome에서 NAC-ME는 ViT-b16 기반으로 평균 47.86%의 OOD 정확도를 달성했으며, 검증 기반 기준(40.42%)을 뛰어넘어 더 뛰어난 강건성 선택 능력을 보였다.
• ResNet 및 비전 트랜스포머(Vision Transformer)와 같은 다양한 아키텍처와 PACS, OfficeHome, TerraInc 데이터셋 간에 NAC와 모델 일반화 능력 사이의 양의 상관관계가 일관되게 유지된다.
• 기존의 내분포 검증 기준보다 NAC-ME가 OOD 테스트 성능과 더 강한 상관관계를 보이며, OOD 강건성에 대한 더 나은 모델 선택을 가능하게 한다.
• 이 방법은 다양한 모델과 데이터셋에서 효과적이며, OfficeHome 벤치마크에서 RN50 기반으로 NAC-ME는 OOD 정확도 99.14%를 기록하여 검증 기반 기준(98.71%)을 초월한다.