[논문 리뷰] Using Semantic Information for Defining and Detecting OOD Inputs

Ramneet Kaur, Xiayan Ji외 6명|arXiv (Cornell University)|2023. 02. 21.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 훈련 데이터의 의미 정보를 활용하여 분포 외 입력을 더 효과적으로 정의하고 탐지하는 새로운 OOD 검출 방법을 제안한다. 분포 통계가 아닌 의미 콘텐츠에 초점을 맞추어, 잘못된 경고를 줄이고, 유사한 레이블을 공유하지만 허위 특징을 가진 OOD 입력을 크게 향상시켜, MNIST, COCO, Birds, CelebA를 포함한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As machine learning models continue to achieve impressive performance across different tasks, the importance of effective anomaly detection for such models has increased as well. It is common knowledge that even well-trained models lose their ability to function effectively on out-of-distribution inputs. Thus, out-of-distribution (OOD) detection has received some attention recently. In the vast majority of cases, it uses the distribution estimated by the training dataset for OOD detection. We demonstrate that the current detectors inherit the biases in the training dataset, unfortunately. This is a serious impediment, and can potentially restrict the utility of the trained model. This can render the current OOD detectors impermeable to inputs lying outside the training distribution but with the same semantic information (e.g. training class labels). To remedy this situation, we begin by defining what should ideally be treated as an OOD, by connecting inputs with their semantic information content. We perform OOD detection on semantic information extracted from the training data of MNIST and COCO datasets and show that it not only reduces false alarms but also significantly improves the detection of OOD inputs with spurious features from the training data.

연구 동기 및 목표

• 훈련 데이터 분포에서 유래한 편향을 유추하는 기존 OOD 검출기의 한계를 해결하기 위해.
• 배경이나 허위 특징과 관계없이 관련 의미 콘텐츠를 포함한 입력을 내재 분포로 재정의함으로써 OOD 검출을 재구성하기 위해.
• 훈련 클래스와 의미적으로 관련성이 없는 OOD 입력을 탐지하는 데에 성능을 향상시키기 위해, 특히 동일한 레이블을 공유하더라도 의미적 관련성이 없는 경우에 대비하여.
• 실세계 데이터에서 흔한 배경, 색상, 질감 변형과 같은 허위 특징에 대해 강건한 방법을 개발하기 위해.
• 특히 레이블 겹침이 있음에도 불구하고 의미적 결핍이 있는 입력에 대해 뛰어난 성능을 보여주는 OOD 검출 벤치마크에서의 초우수한 성능을 입증하기 위해.

제안 방법

• 배경이나 허위 특징과 관계없이 훈련 클래스 레이블과 관련된 의미 정보를 포함한 입력을 내재 분포로 정의한다.
• 의미적으로 관련된 이미지 영역을 추출하고 분리하기 위해 의미 세그멘테이션 네트워크(예: FPN-ResNet50, Lee et al. 2020)를 사용한다.
• 이중 단계 세그멘테이션 알고리즘 ($\mathcal{N}_r$)을 적용하여 이미지를 이진화하고, 중심 영역은 의미적으로 관련이 있다고 표시하고, 외곽 영역은 관련이 없다고 표시한다.
• 테스트 이미지와 혼합-MNIST에서 유래한 숫자 이미지 기준 세트 간의 구조적 유사도(SSI)를 계산하여 의미 일치도를 평가한다.
• SSIM 유사도 기준으로 기준 세트 내 어떤 기준 숫자와도 일치하지 않으면 해당 입력을 OOD로 선언한다.
• Vizwiz, Fashion-MNIST, Birds, CelebA를 포함한 여러 벤치마크에서 AUROC와 95% TPR에서의 TNR을 사용해 검출 성능을 평가한다.

Figure 1: The intended distribution has a much higher variability in terms of the samples it covers, when compared to the training distribution. The classifier trained to classify birds in {sitting birds, flying birds} is expected to generalize well for the intended distribution, which has birds sit

실험 결과

연구 질문

• RQ1 분포 통계가 아니라 의미 콘텐츠가 주요 기준일 경우, 진정으로 OOD로 간주되는 입력은 무엇인가?
• RQ2 허위 특징이 있는 입력을 탐지할 때 의미 기반 OOD 검출 방법이 분포 기반 방법보다 어떻게 비교되는가?
• RQ3 Birds나 CelebA처럼 허위 특징 비중이 높은 데이터셋에서 의미 세그멘테이션은 OOD 검출 성능을 향상시킬 수 있는가?
• RQ4 기존 검출기의 훈련 데이터 편향으로 실패하는 상황에서, 제안된 방법이 의미적으로 관련성은 있지만 분포가 다른 입력에 대해 얼마나 낮은 거짓 경고를 유발하는가?
• RQ5 품질 열화(예: 블러, 어두움) 또는 분리된 클래스 레이블을 가진 OOD 입력에 대해 이 방법은 어떻게 성능을 보이는가?

주요 결과

• 제안된 방법은 ImageNet에서 AUROC 97.31%와 LSUN에서 99.57%를 기록하여, ODIN 및 Mahala와 같은 최신 기술 수준의 검출기들을 능가한다.
• Vizwiz OOD 테스트 세트(흐릿하고 어두운, 가림이 있는 이미지)에서 95% TPR에서 TNR 67.15%를 기록하여, ODIN(66.67%)과 Mahala(54.16%)를 능가한다.
• Fashion-MNIST OOD 입력(분리된 클래스 레이블)에서 AUROC 84.27%를 기록하여 Mahala의 86.03%와 유사하며, 95% TPR에서 TNR 44.67%를 기록하여 베이스라인 중 두 번째로 높은 성능을 보였다.
• 기존 검출기가 훈련 데이터 편향으로 실패하는 상황에서, 허위 특징이 있는 OOD 입력(예: 육상에 있는 물새, 회색 털 남성)에 대해 제안된 방법은 탐지 성능을 크게 향상시켰다.
• 의미 기반 검출은 배경이 비표준인 내재 분포 입력(예:积雪 위의 새)에서 거짓 경고를 줄여주어, 실세계 적용에서 모델의 유용성을 향상시켰다.
• MNIST, COCO, Birds, CelebA를 포함한 다양한 데이터셋에서의 강건한 성능을 보여주어, 특정 아키텍처나 데이터 유형을 초월한 일반화 능력을 확인했다.

Figure 2: Images from Birds and CelebA dataset (left). OOD for birds dataset are images without birds, and OOD for CelebA dataset are images of people without hair (right).