[논문 리뷰] Dense outlier detection and open-set recognition based on training with noisy negative images

Petra Bevandić, Ivan Krešo외 2명|arXiv (Cornell University)|2021. 01. 22.

Anomaly Detection Techniques and Applications참고 문헌 43인용 수 11

한 줄 요약

이 논문은 일반 목적의 데이터셋(예: ImageNet-1k)에서 유도된 노이즈가 있는 음성 이미지를 내재 학습 이미지에 겹쳐 붙여서 훈련하는 방식으로, 밀도 높은 오픈 세트 인식 및 이상치 탐지에 대한 새로운 방법을 제안한다. 모델이 내재 영역과 무작위로 붙인 음성 패치 사이의 구분을 유도함으로써, Fishyscapes와 WildDash 1을 포함한 여러 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며, 단일 순방향 전파를 통해 실시간 추론이 가능하다.

ABSTRACT

Deep convolutional models often produce inadequate predictions for inputs foreign to the training distribution. Consequently, the problem of detecting outlier images has recently been receiving a lot of attention. Unlike most previous work, we address this problem in the dense prediction context in order to be able to locate outlier objects in front of in-distribution background. Our approach is based on two reasonable assumptions. First, we assume that the inlier dataset is related to some narrow application field (e.g.~road driving). Second, we assume that there exists a general-purpose dataset which is much more diverse than the inlier dataset (e.g.~ImageNet-1k). We consider pixels from the general-purpose dataset as noisy negative training samples since most (but not all) of them are outliers. We encourage the model to recognize borders between known and unknown by pasting jittered negative patches over inlier training images. Our experiments target two dense open-set recognition benchmarks (WildDash 1 and Fishyscapes) and one dense open-set recognition dataset (StreetHazard). Extensive performance evaluation indicates competitive potential of the proposed approach.

연구 동기 및 목표

• 도메인 이탈 상황에서 영역 분할과 같은 밀도 예측 작업에서 이상치 영역을 탐지하는 과제를 해결하기 위해.
• 명시적인 이상치 레이블이 없이도 알려지지 않은 또는 분포 외 입력에 대한 일반화 능력을 향상시키기 위해.
• 테스트에 의존하지 않는 음성 데이터를 활용해 외부 시각 패턴에 대한 모델의 강건성을 향상시키는 훈련 전략을 개발하기 위해.
• 폐쇄 세트 모델과 공유하는 특징을 활용한 다중 작업 아키텍처를 통해 실시간 밀도 높은 오픈 세트 인식을 가능하게 하기 위해.
• 크고 작은 이상치를 포함한 다양한 유형의 이상치를 가진 다양한 벤치마크에서의 성능 평가를 위해.

제안 방법

• 일반 목적의 데이터셋(예: ImageNet-1k)에서 유도된 흐트러진 패치를 내재 학습 이미지에 붙여 노이즈가 있는 음성 샘플을 도입한다.
• 음성 패치의 무작위 붙임은 내재 영역과 이상치 영역 간의 공간적 경계를 학습하도록 모델을 유도하여, 알 수 없는 영역의 국소화 능력을 향상시킨다.
• 모델은 세분화 및 이상치 탐지 헤드 간 특징 공유를 하는 다중 작업 설정에서 훈련된다.
• 배치 정규화의 안정성을 확보하기 위해 배치당 내재 및 음성 패치의 비율을 약간 균형 잡힌 비율로 사용하는 균형 잡힌 훈련 전략을 적용한다.
• 세분화 및 이상치 예측을 위한 단일 순방향 전파를 사용함으로써 실시간 배포가 가능하다.
• 특정 데이터셋에 맞춘 초모수 조정 없이 동일한 음성 데이터셋과 훈련 절차를 사용하여 데이터셋 간에 균일하게 적용된다.

실험 결과

연구 질문

• RQ1 다양한 일반 목적의 데이터셋에서 유도된 노이즈가 있는 음성 패치를 사용한 훈련이 영역 분할 작업에서 밀도 높은 이상치 탐지 성능을 향상시킬 수 있는가?
• RQ2 음성 패치의 무작위 붙임이 알려진 영역와 알려지지 않은 영역 간의 공간적 경계 탐지 능력을 향상시키는가?
• RQ3 폐쇄 세트 세분화와 오픈 세트 이상치 탐지 간 특징 공유가 세분화 정확도를 저하시키지 않고 성능 향상을 이룰 수 있는가?
• RQ4 Fishyscapes Lost and Found와 같은 큰 이상치와 작은 이상치를 포함한 벤치마크에서의 성능은 어떻게 되는가?
• RQ5 재학습이나 초모수 조정 없이도 도메인 이탈이 심한 데이터셋(예: StreetHazard)에서도 일반화 가능한가?

주요 결과

• 제안된 방법은 Fishyscapes Static 벤치마크에서 공식 랭킹에서 1위를 기록하며 최신 기술 수준의 성능을 달성한다.
• WildDash 1에서, 더 적은 감독 신호를 사용함에도 불구하고 최고 성능을 낸 모델에 가까운 2위 성과를 기록한다.
• Fishyscapes Lost and Found에서, 경쟁적인 AP(19.74) 및 FPR95(56.19) 점수를 기록하며, max-softmax 기준선을 초월한다.
• StreetHazard에서, 2위의 AP 점수(19.74)와 경쟁적인 FPR95 점수(56.19)를 기록하여 큰 도메인 이탈에 대한 강건성을 입증한다.
• Fishyscapes에서 AUROC 88.86, StreetHazard에서 AUROC 87.00을 기록하여 강력한 이상치 탐지 능력을 보여준다.
• 큰 이상치에서는 베이스라인을 크게 능가하지만, 작은 이상치에서는 성능 향상의 여유가 줄어들며, max-softmax와 조합하면 추가적인 성능 향상이 이루어진다.