[논문 리뷰] Novelty Detection in MultiClass Scenarios with Incomplete Set of Class Labels

Nomi Vinokurov, Daphna Weinshall|arXiv (Cornell University)|2016. 04. 21.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 훈련 중 일부 클래스 레이블이 누락된 다중클래스 환경에서 새로운 클래스를 탐지하기 위한 새로운 앙상블 기반 방법을 제안한다. 다중클래스 분류기에서의 신뢰도 점수를 사용하여 상위 두 클래스의 유사도를 비교하고, 기존 클래스와 새로운 클래스로 무작위로 분할된 데이터에 대해 이진 분류기의 앙상블을 훈련시켜 우수한 새로운 클래스 탐지 점수를 도출한다. 이는 Caltech-256 및 Cifar-100 데이터셋에서 one-class SVM, k-NN, KNFST보다 뛰어난 성능을 보였다.

ABSTRACT

We address the problem of novelty detection in multiclass scenarios where some class labels are missing from the training set. Our method is based on the initial assignment of confidence values, which measure the affinity between a new test point and each known class. We first compare the values of the two top elements in this vector of confidence values. In the heart of our method lies the training of an ensemble of classifiers, each trained to discriminate known from novel classes based on some partition of the training data into presumed-known and presumednovel classes. Our final novelty score is derived from the output of this ensemble of classifiers. We evaluated our method on two datasets of images containing a relatively large number of classes - the Caltech-256 and Cifar-100 datasets. We compared our method to 3 alternative methods which represent commonly used approaches, including the one-class SVM, novelty based on k-NN, novelty based on maximal confidence, and the recent KNFST method. The results show a very clear and marked advantage for our method over all alternative methods, in an experimental setup where class labels are missing during training.

연구 동기 및 목표

• 다중클래스 환경에서 훈련 세트에 일부 클래스 레이블이 누락된 경우 새로운 클래스를 탐지하는 데 도전하는 것.
• 외곽점/이상치 탐지에 특화된 기존의 새로운 클래스 탐지 방법보다 개선하는 것.
• 신뢰도 점수와 무작위 데이터 분할을 활용하여 기존 클래스와 새로운 클래스 간의 구분 경계를 학습하는 방법을 개발하는 것.
• 수백 개의 클래스를 포함하고 레이블 커버리지가 불완전한 대규모 이미지 데이터셋에서 이 방법을 평가하는 것.

제안 방법

• 방법은 다중클래스 분류기를 사용하여 각 테스트 포인트에 대해 모든 알려진 클래스에 대해 소프트 신뢰도 점수를 계산함으로써 시작된다.
• 두 번째로 높은 신뢰도 값을 비교하여 초기 불확실성 측도를 도출하고, 이를 이진 새로운 클래스 탐지의 입력으로 사용한다.
• 기존 클래스와 새로운 클래스로 무작위로 분할된 훈련 데이터에 대해 L개의 이진 분류기를 훈련시킨다.
• 각 이진 분류기는 상위 두 신뢰도 차이를 기반으로 기존 클래스와 새로운 클래스를 구분하도록 학습된다.
• 최종 새로운 클래스 탐지 점수는 앙상블의 집계된 출력에서 유도되며, 이는 새로운 클래스 탐지의 강건성을 보장한다.
• 이 방법은 PCA로 압축된 특징을 사용하여 평가되며, Caltech-256 및 Cifar-100 데이터셋에서 최적의 성능을 위해 튜닝되었다.

실험 결과

연구 질문

• RQ1 누락된 레이블이 있는 다중클래스 설정에서 상위 두 클래스 예측의 신뢰도 기반 비교가 새로운 클래스 탐지 성능을 향상시킬 수 있는가?
• RQ2 무작위 데이터 분할에 기반한 이진 분류기의 앙상블 훈련이 기존 방법보다 새로운 클래스 탐지 성능을 향상시키는가?
• RQ3 훈련 데이터에 특정 클래스 레이블이 누락된 경우, 제안된 방법이 one-class SVM, k-NN, KNFST보다 어떻게 성능을 냈는가?
• RQ4 앙성 내 이진 분류기 수가 줄어들수록 성능이 얼마나 떨어지는가?
• RQ5 누락된 클래스 수가 증가함에 따라 이 방법의 성능 우월성이 유지되는가?

주요 결과

• 제안된 방법은 Caltech-256 및 Cifar-100 데이터셋에서 레이블 누락 시 새로운 클래스 탐지에서 one-class SVM, k-NN, KNFST를 뚜렷이 능가한다.
• Caltech-256에서 이 방법은 모든 베이스라인보다 뚜렷한 성능 향상을 보였으며, 초기 신뢰도 기반 점수 θS보다도 뚜렷한 개선을 보였다.
• Cifar-100에서 이 방법의 최종 새로운 클래스 탐지 점수는 모든 대안보다 뛰어났으며, k-NN가 PCA로 압축된 특징을 사용할 때조차도 상대적으로 높은 성능을 보였다.
• 이 방법은 이진 분류기 수에 대해 강건성을 보였으며, L=5일 때도 강력한 성능을 유지했고, L이 감소함에 따라 점진적으로 성능 저하가 발생했다.
• 누적된 누락 클래스 수가 증가할수록 이 방법의 상대적 우월성이 증가하여, 실제 레이블 커버리지가 불완전한 환경에 대한 확장성도 입증되었다.
• 이 방법은 특징 표현에 의존하지 않아도 되었으며, HOG + PCA 등 최적화된 특징 공간을 사용한 k-NN조차도 이 방법에 뒤지지 않았다.