[논문 리뷰] Novel Class Discovery: an Introduction and Key Concepts

Colin Troisemaine, Vincent Lemaire외 4명|arXiv (Cornell University)|2023. 02. 22.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 새로운 클래스 발견(Noval Class Discovery, NCD)에 대한 종합적인 서베이를 제공한다. NCD는 훈련 중에 레이블이 부여된 기존 클래스와 레이블이 없는 새로운 클래스로부터 학습하는 약한 지도 학습 설정이다. 이 논문은 지식 전이 방식에 기반한 NCD 방법의 분류 체계를 제안하며, 의사 레이블링, 자기지도 학습, 대비 학습과 같은 핵심 기법들을 다루고, NCD가 제로샷 학습 및 오픈월드 학습과 같은 관련 분야와 어떻게 다름을 명확히 한다.

ABSTRACT

Novel Class Discovery (NCD) is a growing field where we are given during training a labeled set of known classes and an unlabeled set of different classes that must be discovered. In recent years, many methods have been proposed to address this problem, and the field has begun to mature. In this paper, we provide a comprehensive survey of the state-of-the-art NCD methods. We start by formally defining the NCD problem and introducing important notions. We then give an overview of the different families of approaches, organized by the way they transfer knowledge from the labeled set to the unlabeled set. We find that they either learn in two stages, by first extracting knowledge from the labeled data only and then applying it to the unlabeled data, or in one stage by conjointly learning on both sets. For each family, we describe their general principle and detail a few representative methods. Then, we briefly introduce some new related tasks inspired by the increasing number of NCD works. We also present some common tools and techniques used in NCD, such as pseudo labeling, self-supervised learning and contrastive learning. Finally, to help readers unfamiliar with the NCD problem differentiate it from other closely related domains, we summarize some of the closest areas of research and discuss their main differences.

연구 동기 및 목표

• 신규 클래스 발견(NCD) 문제를 공식적으로 정의하고, 제로샷 학습 및 오픈월드 학습과 같은 관련 분야와의 차이를 명확히 하기.
• 지식 전이 방식에 따라 기존 클래스에서의 지식을 레이블이 없는 새로운 데이터에 전이하는 방식에 기반해 기존 NCD 방법을 이단계 및 단단계 프레임워크로 분류하기.
• NCD에서 흔히 사용되는 핵심 기법들, 예를 들어 의사 레이블링, 자기지도 학습, 대비 학습 등을 식별하고 설명하기.
• NCD와 밀접하게 관련된 작업들, 예를 들어 오픈세트 인식, 이상치 탐지, 일반화된 카테고리 발견과의 차이를 명확히 하기.
• 미해결 과제들을 부각시키며, 통합된 벤치마크 필요성, 자동으로 클러스터 수 추정, 비이미지 데이터 유형에 대한 NCD 방법의 적응성 등 주요 과제를 제기하기.

제안 방법

• 지식 전이 전략에 기반한 NCD 방법의 분류 체계를 제안: 이단계(기존 클래스에서 먼저 학습한 후 새로운 클래스에 적용) 및 단단계(양쪽 데이터를 함께 학습).
• 각 가족에 속하는 대표적 방법들을 검토하며, 레이블이 있는 데이터를 활용해 레이블이 없는 새로운 클래스의 클러스터링 성능을 향상시키는 방식을 강조.
• 의사 레이블링, 즉 레이블이 없는 데이터에 대한 모델 예측 결과를 감독 신호로 사용하는 기법과, 특징 표현 향상을 위한 대비 학습 기법을 소개하고 설명.
• 자기지도 학습 전훈련을 통해 특징 품질을 향상시키며, 특히 이미지 기반 NCD에서 데이터 증강 및 불변성 학습을 활용.
• 정합성과 의미적 일관성이 중요한 경우, 그래프 기반 및 스펙트럼 클러스터링 원리를 적용해 클러스터 품질 향상.
• 기본적인 이단계 파이프라인 제안: 먼저 오픈세트 인식 기법을 사용해 미지 샘플을 탐지한 후, NCD 기법을 통해 클러스터링 수행.

Figure 1: The open-world scenario, where new classes appear during inference.

실험 결과

연구 질문

• RQ1 신규 클래스 발견(NCD)은 제로샷 학습, 오픈월드 학습, 이상치 탐지와 같은 관련 개념과 어떻게 다릅니까?
• RQ2 NCD의 주요 방법론적 가문은 무엇이며, 성능 및 과적합 위험 측면에서 이단계 및 단단계 접근 방식은 어떻게 비교될 수 있습니까?
• RQ3 자기지도 학습 및 대비 학습 기법이 미지 클래스 탐지에 대한 특징 표현을 얼마나 향상시킬 수 있습니까?
• RQ4 NCD 방법을 테이블형 또는 텍스트 데이터와 같은 비이미지 데이터에 적용할 때의 주요 과제는 무엇이며, 현재의 이미지 중심 기법들은 어떻게 일반화될 수 있습니까?
• RQ5 미지 클래스의 수를 자동으로 추정할 수 있는가? 이 가정이 NCD 성능에 어떤 영향을 미치는가?

주요 결과

• 이단계 접근 방식이 초창기에 인기를 끌었음에도 불구하고, 과적합 위험 감소 덕분에 단단계 NCD 방법이 대부분의 경우로 대체되었다.
• 복잡한 데이터셋에서는 단순 무작위 클러스터링이 실패한다. 이는 클러스터 형태, 유사도 측정 기준, 데이터 분포에 대한 가정이 잘못되었을 때 발생하며, 종종 이미지 색상과 같은 의미 없는 특징에 의해 군집화되는 경향이 있다.
• 자기지도 학습 및 대비 학습 기법은 이미지 기반 NCD에서 특징 표현을 크게 향상시키며, 이는 더 나은 미지 클래스 클러스터링을 가능하게 한다.
• 의사 레이블링은 단단계 NCD 프레임워크에서 핵심 구성 요소이며, 그 정확도가 전체 성능에 큰 영향을 미치므로, 더 나은 레이블링 전략 개선 여지가 크다.
• 이론적으로는 이미지 데이터에 집중되어 있으며, 데이터 증강 및 CNN 기반 아키텍처와 같은 이미지 전용 기법 의존 덕분에 비이미지 모odal로의 확장은 제한적이다.
• 통합된 벤치마크와 표준화된 평가 프로토콜이 급격히 필요하다. 데이터셋 분할 및 클래스 분할 방식이 NCD 문제의 난이도와 모델 성능 비교에 큰 영향을 미치기 때문이다.

Figure 2: The Novel Class Discovery scenario, where both labeled data of known classes and unlabeled data of unknown classes are available during training.