[논문 리뷰] Open-World Semi-Supervised Learning

Kaidi Cao, Maria Brbić외 1명|arXiv (Cornell University)|2021. 02. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 48

한 줄 요약

ORCA는 라벨이 없는 데이터에서 새로운 클래스를 발견하는 동시에 보이는 클래스를 정확히 분류하기 위한 엔드-투-엔드 딥 러닝 프레임워크로, 불확실성 적응 마진을 사용하여 보이는 클래스와 새로운 클래스 간 intra-class 분산을 균형 있게 조정합니다.

ABSTRACT

A fundamental limitation of applying semi-supervised learning in real-world settings is the assumption that unlabeled test data contains only classes previously encountered in the labeled training data. However, this assumption rarely holds for data in-the-wild, where instances belonging to novel classes may appear at testing time. Here, we introduce a novel open-world semi-supervised learning setting that formalizes the notion that novel classes may appear in the unlabeled test data. In this novel setting, the goal is to solve the class distribution mismatch between labeled and unlabeled data, where at the test time every input instance either needs to be classified into one of the existing classes or a new unseen class needs to be initialized. To tackle this challenging problem, we propose ORCA, an end-to-end deep learning approach that introduces uncertainty adaptive margin mechanism to circumvent the bias towards seen classes caused by learning discriminative features for seen classes faster than for the novel classes. In this way, ORCA reduces the gap between intra-class variance of seen with respect to novel classes. Experiments on image classification datasets and a single-cell annotation dataset demonstrate that ORCA consistently outperforms alternative baselines, achieving 25% improvement on seen and 96% improvement on novel classes of the ImageNet dataset.

연구 동기 및 목표

• 일반화된 반지도 학습을 보이는 클래스와 보이지 않는 클래스가 포함된 라벨이 없는 데이터가 있는 오픈 월드 설정으로 일반화한다.
• 사전에 클래스 수를 알 필요 없이 새로운 클래스를 발견할 수 있는 엔드-투-엔드 방법을 개발한다.
• 불확실성 기반 적응 마진을 통해 보이는 클래스와 새로운 클래스 간의 intra-class 분산 편향을 완화한다.
• 추가적인 분류 헤드를 통해 보이는 클래스의 공동 분류와 새로운 클래스로의 클러스터링을 가능하게 한다.
• 다양한 분포, 알려지지 않은 새로운 클래스 수, 그리고 서로 다른 프리트레이닝 전략에 대한 강인성을 입증한다.

제안 방법

• 임베딩 백본과 여러 분류 헤드(보이는 각 클래스당 하나와 잠재적 새로운 클래스를 위한 추가 헤드)를 가진 엔드-투-엔드 프레임워크 ORCA를 도입한다.
• 감지되지 않은 데이터에서 얻은 불확실성 추정을 이용해 보이는 클래스와 새로운 클래스의 학습 속도를 균형 있게 조정하는 불확실성 적응 마진을 감독 손실에 적용한다.
• 세 가지 항목의 목적 함수를 정의한다: 적응 마진이 적용된 감독 손실, 비라벨링 데이터에서 얻은 의사 라벨을 생성하는 페어와이즈 목적 함수, 단일 클래스로의 축소를 막기 위한 정규화 항 term.
• 가까운 이웃에서 파생된 의사 라벨을 사용하고 동일 클래스 그룹화를 촉진하기 위해 양의 페어에 초점을 맞춘 페어와이즈 유사도 목적 함수.
• KL-발산을 선호 분포나 최대 엔트로피로 정규화하여 파생적 해결책을 피한다.
• 선택적으로 자기지도 학습(SimCLR)을 활용해 오픈 월드 SSL 학습 이전의 표현을 개선한다.

실험 결과

연구 질문

• RQ1 오픈 월드 반지도 학습이 라벨이 있는 클래스를 효과적으로 분류하면서 라벨이 없는 데이터에서 보지 않는 클래스를 발견하고 군집화할 수 있는가?
• RQ2 훈련 중 불확실성을 어떻게 활용해 마진을 적응시켜 보이는 클래스와 새로운 클래스 간 intra-class 분산 격차를 줄일 수 있는가?
• RQ3 다중 헤드와 의사 라벨 가이던스를 갖춘 엔드-투-엔드 프레임워크가 open-world SSL에서 임의의 강건한 SSL 또는 일반적인 새로운 클래스 발견 기준선보다 우수한가?
• RQ4 ORCA가 알려지지 않은 새로운 클래스 수와 보이는 데이터와 새로운 데이터 간의 분포 차이에 대해 강건한가, 불균형 데이터셋과 서로 다른 프리트레이닝 규칙 포함?

주요 결과

• ORCA는 다양한 데이터셋에서 확장된 기준선보다 일관되게 뛰어나며, 보이는 클래스와 새로운 클래스에서 눈에 띄는 개선을 달성한다(예: ImageNet의 경우 보이는 클래스에서 25%, 새로운 클래스에서 96% 개선).
• 불확실성 적응 마진은 보이는 클래스와 새로운 클래스 간의 intra-class 분산 격차를 효과적으로 줄여 의사 라벨의 품질과 전반적인 정확도를 향상시킨다.
• 새로운 클래스 수를 알 수 없는 경우에도 ORCA는 사용되지 않는 헤드를 제거하고도 강력한 성능을 달성하여 새로운 클래스 수에 대한 강건성을 보여준다.
• 삭제된 적응 마진이나 정규화가 성능에 해를 끼친다는 점을 보여주는 비제곱 연구를 통해 각 구성요소의 중요성을 확인한다.
• 자기지도 학습(SimCLR) 사전학습을 활용해 ORCA의 성능을 향상시킬 수 있으며, 사전학습 여부를 보고한다.