[논문 리뷰] OpenCon: Open-world Contrastive Learning

Yiyou Sun, Yixuan Li|arXiv (Cornell University)|2022. 08. 04.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 알려진 클래스와 새로운 클래스를 동시에 포함하는 비라벨 데이터에서 알려진 클래스와 새로운 클래스에 대한 압축된 표현을 함께 학습하는 프로토타입 기반 전략과 가짜 양성 쌍을 사용하는 새로운 오픈월드 대비 학습 프레임워크인 OpenCon을 제안한다. 이는 상태의 기준을 초월하는 성능을 달성하며, 이전의 SOTA 방법인 ORCA보다 각각 새로운 클래스 정확도에서 11.9%와 총합 정확도에서 7.4% 높은 성능을 기록한다. 이는 기대값-최대화(EM) 알고리즘 해석에 기반한 이론적 기반을 지닌다.

ABSTRACT

Machine learning models deployed in the wild naturally encounter unlabeled samples from both known and novel classes. Challenges arise in learning from both the labeled and unlabeled data, in an open-world semi-supervised manner. In this paper, we introduce a new learning framework, open-world contrastive learning (OpenCon). OpenCon tackles the challenges of learning compact representations for both known and novel classes and facilitates novelty discovery along the way. We demonstrate the effectiveness of OpenCon on challenging benchmark datasets and establish competitive performance. On the ImageNet dataset, OpenCon significantly outperforms the current best method by 11.9% and 7.4% on novel and overall classification accuracy, respectively. Theoretically, OpenCon can be rigorously interpreted from an EM algorithm perspective--minimizing our contrastive loss partially maximizes the likelihood by clustering similar samples in the embedding space. The code is available at https://github.com/deeplearning-wisc/opencon.

연구 동기 및 목표

• 비라벨 데이터에 알려진 클래스와 새로운 클래스가 공존하는 오픈월드 환경에서 강건한 표현을 학습하는 데 도전하는 것.
• 새로운 클래스의 수에 대한 사전 지식이 없이도 동시에 표현 학습과 신규성 탐지가 가능하도록 하는 것.
• 기존의 대비 학습 및 준지도 학습 방법에서의 폐쇄 월드 가정의 한계를 극복하는 것.
• CNN 및 트랜스포머 아키텍처와 모두 호환되는 통합형 엔드 투 엔드 학습 가능한 프레임워크를 개발하는 것.

제안 방법

• 진화하는 표현에서 동적으로 업데이트되는 클래스 프로토타입을 사용하는 프로토타입 기반 학습 전략을 도입하여, 비라벨 데이터 내에서 알려진 클래스와 새로운 클래스를 구분한다.
• 가장 가까운 프로토타입을 기반으로 가짜 양성 쌍을 생성함으로써, 같은 예측 클래스 내에서 유사한 샘플들이 클러스터링되도록 대비 학습을 가능하게 한다.
• 동일한 근사 레이블을 가진 샘플들을 정렬함으로써 알려진 클래스와 새로운 클래스 모두에 대해 표현의 압축 클러스터링을 장려하는 대비 손실 함수를 사용한다.
• 최적화 과정을 기대값-최대화(EM) 관점에서 해석하여, 손실 최소화가 클러스터링을 통해 가능도를 부분적으로 최대화함을 보여준다.
• 엔드 투 엔드 학습을 지원하며, CNN 및 트랜스포머를 포함한 다양한 딥 러닝 아키텍처와 호환된다.
• 가장 가까운 알려진 클래스 프로토타입까지의 거리를 통해 이상치 탐지(OOD detection)를 구현함으로써 암묵적인 신규성 탐지가 가능하다.

실험 결과

연구 질문

• RQ1 비라벨 데이터에 알려진 클래스와 새로운 클래스가 모두 존재할 때, 표현 학습 프레임워크는 어떻게 알려진 클래스와 새로운 클래스를 효과적으로 구분할 수 있는가?
• RQ2 감독 없이도 알려진 클래스에 대한 압축된 표현을 학습하고 동시에 새로운 클래스를 탐지할 수 있는 대비 학습 접근법을 설계할 수 있는가?
• RQ3 제안된 대비 손실과 오픈월드 학습에서의 클러스터링 또는 가능도 최대화 사이의 이론적 연결 고리는 무엇인가?
• RQ4 기존의 오픈월드 준지도 학습 방법에 비해 프로토타입 기반 전략은 성능 향상에 어떻게 기여하는가?
• RQ5 학습 시점에 새로운 클래스의 수를 알 수 없을 경우, 이 프레임워크는 잘 일반화되는가?

주요 결과

• ImageNet 데이터셋에서 OpenCon은 이전의 SOTA 방법인 ORCA보다 새로운 클래스 정확도에서 11.9% 높고, 총합 정확도에서 7.4% 높은 성능을 기록한다.
• OpenCon은 사전에 새로운 클래스의 수를 알지 못하더라도 경쟁력 있는 성능을 보이며, 수치가 제공된 오라클 설정과 비교해도 유사하거나 略로 뛰어난 성능을 기록한다.
• 광범위한 아블레이션 연구를 통해 프로토타입 기반 전략과 가짜 양성 쌍 생성 메커니즘의 효과성을 확인한다.
• OpenCon은 CNN 및 트랜스포머를 포함한 다양한 아키텍처에서 강력한 일반화 성능를 보여준다.
• 이론적 분석을 통해 대비 손실 최소화가 클러스터링을 통한 가능도 최대화에 해당함을 보이며, 엄밀한 EM 기반 해석을 제공한다.
• 가장 가까운 알려진 클래스 프로토타입까지의 거리는 효과적인 OOD 탐지 신호로 기능하며, 기존의 확립된 방법들과 비교해 유사한 성능을 기록한다.