[논문 리뷰] Novelty Detection and Learning from Extremely Weak Supervision

Eduardo Soares, Plamen Angelov|arXiv (Cornell University)|2019. 11. 01.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 단일 클래스와 소수의 레이블된 샘플만을 요구하는 극도로 약한 사전 지도 학습 조건 하에서 비정상성 탐지 및 분류를 위한 새로운 자율 기계 학습 방법인 xClass를 제안한다. 이 방법은 자동 특성 선택과 신뢰도 기반의 새로운 클래스 탐지 기능을 갖춘 반복적이고 비모수적 프로토타입 기반 학습을 사용하여, 재학습이 필요 없이도 높은 정확도와 해석 가능성으로 작동하며, 훈련 후에 새로운 클래스가 나타나도 문제없이 대응할 수 있다.

ABSTRACT

In this paper we offer a method and algorithm, which make possible fully autonomous (unsupervised) detection of new classes, and learning following a very parsimonious training priming (few labeled data samples only). Moreover, new unknown classes may appear at a later stage and the proposed xClass method and algorithm are able to successfully discover this and learn from the data autonomously. Furthermore, the features (inputs to the classifier) are automatically sub-selected by the algorithm based on the accumulated data density per feature per class. As a result, a highly efficient, lean, human-understandable, autonomously self-learning model (which only needs an extremely parsimonious priming) emerges from the data. To validate our proposal we tested it on two challenging problems, including imbalanced Caltech-101 data set and iRoads dataset. Not only we achieved higher precision, but, more significantly, we only used a single class beforehand, while other methods used all the available classes) and we generated interpretable models with smaller number of features used, through extremely weak and weak supervision.

연구 동기 및 목표

• 기존의 지도 학습 방법이 대규모 레이블된 데이터셋이 필요하고, 훈련 후 새로운 클래스를 탐지할 수 없는 한계를 해결하기 위해.
• 단일 클래스에서 소수의 레이블된 샘플만을 사용하는 극도로 약한 지도 학습 조건 하에서 자율적으로 학습하는 모델을 개발하기 위해.
• 데이터 스트림에서 새로운 클래스가 나타날 때마다 자율적으로 발견하고 학습할 수 있도록 하기 위해.
• 해석 가능한 인간이 이해할 수 있는 IF-THEN 규칙을 통해 모델의 투명성과 사용성을 향상시키기 위해.
• 새로운 데이터 패턴이 나타날 때 계산 비용을 줄이고 재학습이 필요 없도록 하기 위해.

제안 방법

• 이 방법은 국소적 데이터 분포와 일반성 특성을 모델링하기 위해 반복적이지 않고 반복하지 않는 비모수적 프로토타입 기반 학습을 사용한다.
• 입력 데이터를 전처리하기 위해 표준화와 단위 기반 정규화를 적용하며, |z| ≥ 3인 이상치는 기각한다.
• 특성 밀도에 따라 각 클래스별로 각 특성의 중요도를 평가하여 자동으로 관련 특성을 선택함으로써 차원 축소를 동적으로 수행한다.
• 새로운 데이터를 분류할 때 신뢰도가 감소하면 새로운 클래스일 가능성이 있음을 나타내며, 이에 따라 비정상성 탐지가 촉발된다.
• 신뢰도가 임계값 이하로 떨어지면 기존 모델을 재학습하지 않고도 새로운 데이터를 사용해 새로운 클래스를 생성하고 훈련한다.
• 최종 모델은 인간이 분석하고 검증할 수 있는 해석 가능한 언어적 IF-THEN 규칙으로 표현된다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 사전 지식 없이도 재학습 없이 새로운 클래스를 자율적으로 탐지하고 학습할 수 있는가?
• RQ2 단일 클래스와 소수의 레이블된 샘플만을 사용하는 극도로 약한 지도 학습 조건 하에서 이 방법의 효과성은 어떠한가?
• RQ3 실시간으로 알려지지 않은 데이터 패턴이 나타날 때 모델이 높은 정확도와 해석 가능성을 유지할 수 있는가?
• RQ4 약한 지도 학습과 완전한 지도 학습 조건 하에서 이 모델의 성능이 최신 기술 대비 어떻게 비교되는가?
• RQ5 모델이 높은 확신으로 기존 클래스로 잘못 분류하지 않고, 알려지지 않은 클래스를 높은 확신으로 탐지하고 분류할 수 있는가?

주요 결과

• xClass는 모든 클래스의 1% 레이블된 데이터만을 사용하여 Caltech-101 데이터셋에서 거의 90%의 분류 정확도를 달성했으며, 최신 기술을 능가했다.
• 훈련 시 단일 클래스만을 준비한 상태에서 xClass는 기존 방법이 사전에 모든 클래스를 알고 있어야 하는 것과 달리, 나머지 모든 클래스를 자율적으로 발견하고 학습했다.
• 모델는 특히 알려지지 않은 클래스를 탐지할 때 뛰어난 정밀도와 강건성을 보였으며, 딥 러닝 모델이 높은 확신으로 잘못 분류하는 경향이 있는 점을 고려할 때 뛰어난 성능을 보였다.
• 알고리즘이 언어적 IF-THEN 규칙을 통해 매우 해석 가능한 모델을 생성하여 전문가가 의사결정 논리를 분석하고 검증할 수 있도록 했다.
• 특성 선택 외에는 사용자 맞춤형 초모수 설정이 필요로 하지 않으며, 반복적이지 않고 반복적인 설계 덕분에 시간과 계산 자원 측면에서 매우 효율적인 성능을 보였다.
• 딥 러닝과 달리 알려지지 않은 클래스를 높은 확신으로 잘못 분류하지 않고, 신뢰도 감소를 감지하고 적극적으로 새로운 클래스를 생성함으로써 적응형 학습 능력을 입증했다.