[논문 리뷰] A Review of Open-World Learning and Steps Toward Open-World Learning Without Labels

Mohsen Jafarzadeh, Akshay Raj Dhamija외 4명|arXiv (Cornell University)|2020. 11. 25.

Anomaly Detection Techniques and Applications인용 수 12

한 줄 요약

이 논문은 레이블 없이 비지도 개방세계 학습(OWL)을 체계화하며, 레이블이 없는 데이터 스트림으로부터 새로운 클래스를 탐지하고 특성화하며 관리하고 점진적으로 학습할 수 있는 자율 에이전트를 가능하게 하는 프레임워크를 제안한다. 최신 기술을 수정한 일곱 가지 베이스라인을 제안하여, 지도 학습 및 비지도 학습 특징을 융합할 경우 개방세계 환경에서 가장 우수한 성능을 낼 수 있음을 입증한다.

ABSTRACT

In open-world learning, an agent starts with a set of known classes, detects, and manages things that it does not know, and learns them over time from a non-stationary stream of data. Open-world learning is related to but also distinct from a multitude of other learning problems and this paper briefly analyzes the key differences between a wide range of problems including incremental learning, generalized novelty discovery, and generalized zero-shot learning. This paper formalizes various open-world learning problems including open-world learning without labels. These open-world problems can be addressed with modifications to known elements, we present a new framework that enables agents to combine various modules for novelty-detection, novelty-characterization, incremental learning, and instance management to learn new classes from a stream of unlabeled data in an unsupervised manner, survey how to adapt a few state-of-the-art techniques to fit the framework and use them to define seven baselines for performance on the open-world learning without labels problem. We then discuss open-world learning quality and analyze how that can improve instance management. We also discuss some of the general ambiguity issues that occur in open-world learning without labels.

연구 동기 및 목표

• 실시간 자율 시스템을 위한 실현 가능하고 확장 가능한 문제로, 레이블 없이 개방세계 학습을 체계화하는 것.
• 개방세계 학습을 개방집합 인식, 점진적 학습, 제로샷 학습 등의 관련 분야와 구분하는 것.
• 비지도 개방세계 적응을 위한 새로운 일반화된 프레임워크를 설계하여, 신규성 탐지, 군집화, 인스턴스 관리 및 점진적 학습을 통합하는 것.
• 비지도 개방세계 학습에 특화된 새로운 평가 지표를 사용하여 성능을 평가하고 벤치마킹하는 것.
• 기존 평가 지표의 한계를 규명하고 향후 시스템에서 인간 검증 레이블의 중요성을 주장하는 것.

제안 방법

• 에이전트가 특징 추출, 추론, 신규성 탐지 및 버퍼 기반 인스턴스 관리를 거쳐 데이터 스트림을 처리하는 기능적 프레임워크를 제안한다.
• 미리 정의된 임계값 τ를 초과할 경우에만 '알 수 없는' 클래스로 간주된 인스턴스만 버퍼에 저장하는 버퍼 메커니즘을 도입한다.
• 비지도 군집화(Finch)와 SVM 기반 측정을 통한 품질 평가를 융합하여 의미 있는 새로운 클래스를 걸러내는 방법을 적용한다.
• 기존의 여섯 가지 점진적 학습 알고리즘(ONCM, ONNO, OGMM, OCBCL, OSCAIL, MEVM)을 비지도 학습을 위한 진정한 개방세계 학습자(TOWL)로 확장한다.
• 군집화를 시작하기 위해 250개의 탐지된 새로운 클래스 인스턴스를, 새로운 클래스를 생성하기 위해 클러스터당 20개의 인스턴스를 기준으로 설정하여 학습 속도와 품질의 균형을 맞춘다.
• 개방세계 학습 성능을 평가하기 위해 새로운 평가 지표를 적용하며, 이 지표의 한계와 인간 검증 기반 참값이 필요함을 인지한다.

실험 결과

연구 질문

• RQ1 레이블 없이 개방세계 학습은 개방집합 인식, 점진적 학습, 일반화된 제로샷 학습과 본질적으로 어떻게 다를까?
• RQ2 스트리밍 데이터에서 비지도 탐지 및 점진적 학습이 가능한 확장 가능한 자율 시스템을 구축하기 위해 필수적인 구성 요소는 무엇인가?
• RQ3 기존의 점진적 학습 알고리즘은 신규성 탐지 및 군집화의 모듈러 통합을 통해 비지도 개방세계 학습을 지원하도록 어떻게 적응시킬 수 있는가?
• RQ4 제안된 평가 지표는 진정한 개방세계 학습 성능을 얼마나 잘 반영하는가? 그 한계는 무엇인가?
• RQ5 비지도 개방세계 학습에서 학습 속도와 클러스터 품질 사이의 상충 관계는 무엇이며, 이를 어떻게 최적화할 수 있는가?

주요 결과

• 제안된 프레임워크는 의미적 레이블이 없이도 자율 에이전트가 레이블이 없는 데이터 스트림으로부터 새로운 클래스를 탐지하고 관리하며 학습할 수 있음을 성공적으로 입증하였다.
• 가장 높은 성능을 보인 TOWL 구성은 지도 학습 및 비지도 학습 특징의 조합을 사용했으며, 순수 비지도 접근 방식을 능가했다.
• 250개의 새로운 인스턴스를 탐지한 것이 군집화를 시작하는 데 효과적이었고, 클러스터당 20개의 인스턴스는 학습 속도와 클러스터 품질 사이의 실용적인 균형을 제공했다.
• 평가 지표만으로는 노이즈가 많은 클러스터와 고급 품질의 클러스터를 구분하지 못했으며, 이는 '나무 줄기'와 '나뭇잎 끝'이 별개의 클래스로 잘못 분류된 사례에서 명백히 드러났다.
• 다양한 데이터 분할을 사용한 결과 간에 통계적으로 유의미한 차이가 없었음(p ≥ 0.20)을 통해 데이터 분할 방식의 변화에 대해 강건함을 확인했다.
• 정확한 평가를 위해서는 인간 검증 레이블이 필수적이며, 제안된 평가 지표는 참값 검증 없이 인간이 인식한 클래스 경계를 신뢰성 있게 일치시킬 수 없다.