[논문 리뷰] Block Selection Method for Using Feature Norm in Out-of-distribution Detection

Yeonguk Yu, Sungho Shin외 3명|arXiv (Cornell University)|2022. 12. 05.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 FeatureNorm(특성맵의 노름)과 NormRatio(내재적 분포(ID) 및 가짜 OOD 데이터 간의 FeatureNorm 비율)를 사용하여 OOD 검출에 가장 적합한 네트워크 블록을 선택하는 새로운 후행(post-hoc) OOD 검출 방법을 제안한다. 가짜 OOD 데이터로 임의의 조각 맞추기 퍼즐 이미지를 생성하여 NormRatio가 가장 큰 블록을 식별함으로써, 이 방법은 최신 기준 성능을 달성하며, CIFAR-10에서 FPR95를 최대 52.77% 감소시키고, ImageNet에서는 48.53% 감소시킨다.

ABSTRACT

Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.

연구 동기 및 목표

• 실세계의 신경망 배포 환경에서 볼 수 없는 데이터의 오분류가 위험한 결과를 초래할 수 있는 바, 외부 분포(out-of-distribution, OOD) 입력을 탐지하는 문제를 해결한다.
• 중간 네트워크 블록의 특성맵 노름이 OOD 검출에 신뢰할 수 있는 지표가 될 수 있는지 조사하며, 최종 레이어가 최적이라는 가정에 도전한다.
• 모델 재학습이나 아키텍처 변경 없이도 기존 사전 훈련된 모델에 적용 가능한 후행 프레임워크를 개발하여, OOD 검출에 가장 분류 능력이 뛰어난 블록을 선택한다.
• 블록별 특성 노름 통계와 새로운 블록 선택 전략을 활용하여 기존 OOD 검출 방법의 성능을 향상시킨다.

제안 방법

• 특정 네트워크 블록의 특성맵에 대한 L2 노름을 FeatureNorm로 정의하여 OOD 점수 지표로 사용한다.
• 내재적 분포(ID) 데이터의 FeatureNorm와 가짜 OOD 데이터의 FeatureNorm 간 비율을 NormRatio로 정의하며, 이는 OOD 검출에 적합한 블록의 적합도 평가에 사용된다.
• 내재적 분포 훈련 이미지에서 조각 맞추기 퍼즐 증강 기법을 사용하여 가짜 OOD 데이터를 생성함으로써, 외부 OOD 데이터가 필요 없이 외부 분포 입력을 시뮬레이션한다.
• 모든 블록 중에서 NormRatio가 가장 큰 블록을 선택하여 OOD 검출에 최적의 블록으로 간주한다. 이는 ID 및 OOD 특성맵 노름 간의 분리 능력에 기반한다.
• 추론 단계에서 선택된 블록의 FeatureNorm를 사용하며, 노름 값이 학습된 임계값 이하일 경우 입력을 OOD로 분류한다.
• 모델 재학습이나 아키텍처 수정 없이도 후행적으로 적용 가능하므로, 사전 훈련된 모델과의 호환성이 뛰어나다.

Figure 1 : Histogram of norm of the feature map produced by convolutional blocks of ResNet18. In last block (a), the norm of ID (black) is hard to separate from OOD (blue, orange) compared to the one from the penultimate block (b).

실험 결과

연구 질문

• RQ1 중간 네트워크 블록의 특성맵 노름이 최종 레이어보다 OOD 검출 신호로 더 효과적일 수 있는가?
• RQ2 특정 네트워크 블록이 특성맵 노름 기반으로 내재적 분포와 외부 분포 입력 간의 분류 능력이 뛰어나게 나타나는가?
• RQ3 내재적 분포 샘플에서 유도된 가짜 OOD 데이터를 사용하여 진정으로 OOD 데이터에 접근할 수 없을 때도 최적의 블록을 신뢰성 있게 선택할 수 있는가?
• RQ4 NormRatio를 사용하여 최고 성능을 보이는 블록을 선택할 경우, 최종 레이어나 기본 블록을 사용하는 것보다 OOD 검출 성능이 크게 향상되는가?
• RQ5 이러한 블록 선택 및 특성 노름 기반 검출 프레임워크는 다양한 아키텍처와 벤치마크에 일반화 가능한가?

주요 결과

• ResNet18의 펜ultimate 블록이 최종 블록보다 훨씬 뛰어난 OOD 분리 능력을 보이며, ID 및 OOD 입력 간의 FeatureNorm 간격이 더 크다는 점에서 이를 뒷받침한다.
• 조각 맞추기 퍼즐로 생성된 가짜 OOD 데이터를 활용한 제안된 블록 선택 전략은 최적의 블록을 성공적으로 식별하여 최신 기준 성능을 달성한다.
• CIFAR-10 벤치마크에서, 이 방법은 최고의 베이스라인 대비 FPR95를 최대 52.77% 감소시켜 OOD 검출 성능 향상이 뚜렷하게 입증된다.
• ImageNet 벤치마크에서, 이 방법은 최고의 베이스라인 대비 FPR95를 최대 48.53% 감소시켜 대규모 데이터셋에서도 효과적임을 확인한다.
• 이 프레임워크는 다양한 아키텍처에 일반화 가능하며, 기존 OOD 검출 방법에 후행적으로 적용했을 때 성능 향상을 이룬다.
• 제거 실험 및 이론적 분석을 통해, 잘 선택된 블록의 특성맵 노름은 출력 확률이나 에너지 기반 점수보다 더 신뢰할 수 있는 OOD 지표임을 입증한다.

Figure 2 : Illustration of our proposed out-of-distribution detection framework. FeatureNorm refers to a norm calculation for the given feature map produced by the block. We use NormRatio of ID and pseudo OOD (i.e., Jigsaw puzzle images) to find which block is suitable for OOD detection (a). During