[논문 리뷰] Novelty detection using ensembles with regularized disagreement.

Alexandru Ţifrea, Eric Stavarache외 1명|arXiv (Cornell University)|2020. 12. 10.

Anomaly Detection Techniques and Applications참고 문헌 54인용 수 4

한 줄 요약

이 논문은 훈련 중에 OOD 데이터가 제공되지 않더라도, 정규화된 불일치를 활용하여 새로운 클래스의 OOD 탐지 성능을 향상시키는 새로운 앙상블 기반 방법을 제안한다. 이는 SVHN, CIFAR-10, CIFAR-100 및 의료 영상 데이터셋과 같은 표준 벤치마크에서 최신 기술을 크게 능가하며, 특히 알려지지 않은 클래스를 탐지하는 데서 두드러진 성능을 보인다.

ABSTRACT

Despite their excellent performance on in-distribution (ID) data, machine learning-based prediction systems often predict out-of-distribution (OOD) samples incorrectly while indicating high confidence. Instead, they should flag samples that are not similar to the training data, for example, when new classes emerge over time. Even though current OOD detection algorithms can successfully distinguish completely different data sets, they fail to reliably identify samples from novel classes. We develop a new ensemble-based procedure that promotes model diversity and exploits regularization to limit disagreement to only OOD samples, using a batch containing an unknown mixture of ID and OOD data. We show that our procedure significantly outperforms state-of-the-art methods, including those that have access, during training, to data that is known to be OOD. We run extensive comparisons of our approach on a variety of novel-class detection scenarios, on standard image data sets such as SVHN/CIFAR-10/CIFAR-100, as well as on new disease detection on medical image data sets.

연구 동기 및 목표

• 딥 러닝 모델이 훈련 중에 볼 수 없었던 새로운 클래스를 포함한 외부 분포(OOD) 샘플을 탐지하는 데에 한계가 있다는 문제를 해결하기 위해.
• 모델 훈련 중에 알려진 OOD 데이터가 제공되지 않을 경우에도 OOD 탐지 성능을 향상시키기 위해.
• 정규화를 통해 불일치를 OOD 샘플로만 제한하면서도 모델의 다양성을 증진시키는 방법을 개발하기 위해.
• 표준 이미지 데이터셋과 실제 의료 영상 분류 작업을 포함한 다양한 시나리오에서 방법의 성능을 평가하기 위해.

제안 방법

• 모델의 다양성을 높이고 OOD 입력에 대한 강건성을 향상시키기 위해 딥 신경망의 앙상블을 사용한다.
• 정규화된 불일치 손실을 도입하여, 불일치를 오직 OOD 샘플에서만 허용하고, 내부 분포(ID) 데이터에 대해서는 일치를 장려한다.
• 훈련 과정에서 ID와 OOD 샘플이 혼합된 배치를 사용하여, 불일치 패tern을 통해 OOD 입력을 구분하도록 모델을 학습시킨다.
• 정규화 구성 요소는 ID 데이터에서의 불일치를 억제함으로써, 알려진 분포에서의 모델 신뢰도를 높인다.
• 기존의 많은 방법들과는 달리, 훈련 중에 알려진 OOD 데이터에 접근할 필요가 없다.
• 최종 예측은 앙상블 출력에 기반하며, 높은 불일치가 OOD 탐지 신호로 사용된다.

실험 결과

연구 질문

• RQ1 훈련 중에 알려진 OOD 데이터에 접근하지 않더라도 앙상블 기반 방법이 새로운 클래스를 탐지할 수 있는가?
• RQ2 표준 앙상블 방법과 비교해 정규화된 불일치가 OOD 탐지 성능을 어떻게 향상시키는가?
• RQ3 의료 영상 및 표준 비전 벤치마크를 포함한 다양한 데이터 분포에 대해 일반화 가능한가?
• RQ4 OOD 샘플이 완전히 다른 데이터셋이 아니라 새로운 클래스에서 온 경우, 성능가능성은 어떻게 되는가?
• RQ5 CIFAR-10, CIFAR-100 및 SVHN과 같은 표준 이미지 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 훈련 중에 알려진 OOD 데이터에 접근할 수 있는 최신 기술보다도 뚜렷이 뛰어난 성능을 보인다.
• CIFAR-10, CIFAR-100 및 SVHN에서 뛰어난 성능을 달성하여 표준 비전 벤치마크에서의 강건성을 입증한다.
• 의료 영상 데이터셋에서 새로운 클래스를 효과적으로 탐지하여, 표준 이미지 인식 작업을 넘어서는 적용 가능성을 보여준다.
• 내부 분포 데이터에서는 높은 신뢰도를 유지하면서도 OOD 입력에서는 높은 불일치를 생성함으로써 신뢰할 수 있는 탐지가 가능하다.
• 불일치의 정규화는 ID 데이터에서의 오진 탐지(false positives)를 억제함으로써 탐지 성능을 향상시킨다.
• OOD 데이터가 훈련 중에 명시적으로 제공되지 않더라도 효과적으로 작동하므로, 실세계 적용에 매우 실용적이다.