[논문 리뷰] OpenMix: Reviving Known Knowledge for Discovering Novel Visual Categories in An Open World

Zhun Zhong, Linchao Zhu외 4명|arXiv (Cornell University)|2020. 04. 12.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 알려진 클래스에서 온 레이블이 부여된 예시와 새로운 클래스에서 온 레이블이 없는 예시를 혼합하여 신뢰할 수 있는 가짜 레이블을 생성하고 새로운 클래스 탐지 성능을 향상시키는 새로운 데이터 증강 방법인 OpenMix를 제안한다. 두 가지 데이터 유형과 그들의 공동 레이블 분포를 혼합함으로써 OpenMix는 모델의 강건성을 향상시키고 CIFAR-10, CIFAR-100, ImageNet에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we tackle the problem of discovering new classes in unlabeled visual data given labeled data from disjoint classes. Existing methods typically first pre-train a model with labeled data, and then identify new classes in unlabeled data via unsupervised clustering. However, the labeled data that provide essential knowledge are often underexplored in the second step. The challenge is that the labeled and unlabeled examples are from non-overlapping classes, which makes it difficult to build the learning relationship between them. In this work, we introduce OpenMix to mix the unlabeled examples from an open set and the labeled examples from known classes, where their non-overlapping labels and pseudo-labels are simultaneously mixed into a joint label distribution. OpenMix dynamically compounds examples in two ways. First, we produce mixed training images by incorporating labeled examples with unlabeled examples. With the benefits of unique prior knowledge in novel class discovery, the generated pseudo-labels will be more credible than the original unlabeled predictions. As a result, OpenMix helps to prevent the model from overfitting on unlabeled samples that may be assigned with wrong pseudo-labels. Second, the first way encourages the unlabeled examples with high class-probabilities to have considerable accuracy. We introduce these examples as reliable anchors and further integrate them with unlabeled samples. This enables us to generate more combinations in unlabeled examples and exploit finer object relations among the new classes. Experiments on three classification datasets demonstrate the effectiveness of the proposed OpenMix, which is superior to state-of-the-art methods in novel class discovery.

연구 동기 및 목표

• 레이블이 부여된 데이터가 별개의 클래스에서 올 때, 레이블이 없는 데이터에서 새로운 시각적 카테고리를 탐지하는 문제에 대응한다.
• 기존 방법들이 비지도 군집화 과정에서 레이블이 있는 데이터를 효율적으로 활용하지 못하는 한계를 극복한다.
• 새로운 클래스 탐지에서 잘못된 가짜 레이블에 대한 과적합을 줄이고 모델 일반화 능력을 향상시킨다.
• 레이블이 있는 데이터에서의 사전 지식을 활용하여 새로운 클래스를 위한 더 신뢰할 수 있고 다양한 훈련 샘플을 생성한다.

제안 방법

• 알려진 클래스에서 온 레이블이 있는 예시와 새로운 클래스에서 온 레이블이 없는 예시를 혼합하는 이중 단계 데이터 혼합 전략인 OpenMix를 도입한다.
• 레이블이 있는 샘플과 레이블이 없는 샘플의 레이블 및 가짜 레이블을 공동 레이블 분포로 확장하여 의미 있는 혼합을 가능하게 한다.
• 알려진 클래스 샘플의 고신뢰도 레이블을 활용해 혼합 샘플의 가짜 레이블을 안정화시켜 새로운 클래스 예측의 불확실성을 줄인다.
• 고신뢰도 레이블이 부여된 레이블이 없는 샘플을 신뢰할 수 있는 앵커로 식별하고, 이를 다른 레이블이 없는 샘플과 추가로 혼합하여 특징 학습을 향상시킨다.
• 레이블 신뢰도를 유지하고 비지도 군집화 중 모델 일반화 능력을 향상시키기 위해 수정된 MixUp 스타일 증강을 적용한다.
• 학습 가능한 혼합 계수 λ₂를 갖는 기본 군집 프레임워크에 OpenMix를 통합하여 다양한 값 범위에서 강건한 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 비지도 군집화 과정에서 별개의 클래스에서 온 레이블이 있는 데이터를 어떻게 효과적으로 활용할 수 있는가?
• RQ2 레이블이 있는 데이터와 레이블이 없는 데이터를 혼합하면 개방 집합 학습에서 가짜 레이블의 신뢰성이 향상되는가?
• RQ3 고신뢰도 레이블이 있는 레이블이 없는 샘플을 앵커로 활용하면 미세한 시각적 카테고리 탐지가 향상되는가?
• RQ4 OpenMix와 같은 데이터 혼합 전략이 새로운 클래스 탐지에서 잘못된 가짜 레이블에 대한 과적합을 줄이는가?
• RQ5 OpenMix는 표준 벤치마크에서 최신 기술 수준의 방법과 비교해 군집 정확도를 어느 정도 향상시키는가?

주요 결과

• CIFAR-10에서 OpenMix는 95.3%의 군집 정확도를 달성하여 이전 최신 기술 수준(RS)보다 3.6% 포인트 높다.
• CIFAR-100에서 OpenMix는 87.2%의 정확도를 기록하여 기준 모델(81.2%)과 DTC와 같은 최신 기술 수준 방법(72.8%)보다 뚜렷한 향상을 보였다.
• ImageNet에서 OpenMix는 85.7%의 정확도를 달성하여 기준 모델(77.1%)과 최신 기술 수준인 RS 방법보다 3.2% 포인트 높다.
• OpenMix는 하이퍼파rameter λ₂에 대해 강건하며, 최적 성능을 1000에서 3000의 범위에서 보이며, λ₂ = 1일 때에도 효과가 유지된다.
• t-SNE 시각화 결과 OpenMix가 레이블이 없는 샘플을 점차 구분 가능한, 클래스 간 분리된 군집으로 진행적으로 정렬함을 확인했다.
• OpenMix는 세 가지 데이터셋 전반에서 기준 모델을 일관되게 향상시켜 알려진 지식을 활용한 개방형 환경에서의 탐지 능력이 뛰어나다는 것을 입증했다.