[논문 리뷰] Automatically Discovering and Learning New Visual Categories with Ranking Statistics

Kai Han, Sylvestre-Alvise Rebuffi외 3명|arXiv (Cornell University)|2020. 02. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 55

한 줄 요약

논문은 라벨이 없는 데이터에서 새로운 시각 카테고리를 자동으로 발견하고 학습하기 위한 자동 지도 학습, 순위 통계 기반 접근법을 제시하며, 전이용으로 라벨이 있는 데이터를 활용하고, 공동 학습과 일관성 정규화를 통해 망각을 방지한다.

ABSTRACT

We tackle the problem of discovering novel classes in an image collection given labelled examples of other classes. This setting is similar to semi-supervised learning, but significantly harder because there are no labelled examples for the new classes. The challenge, then, is to leverage the information contained in the labelled images in order to learn a general-purpose clustering model and use the latter to identify the new classes in the unlabelled data. In this work we address this problem by combining three ideas: (1) we suggest that the common approach of bootstrapping an image representation using the labeled data only introduces an unwanted bias, and that this can be avoided by using self-supervised learning to train the representation from scratch on the union of labelled and unlabelled data; (2) we use rank statistics to transfer the model's knowledge of the labelled classes to the problem of clustering the unlabelled images; and, (3) we train the data representation by optimizing a joint objective function on the labelled and unlabelled subsets of the data, improving both the supervised classification of the labelled data, and the clustering of the unlabelled data. We evaluate our approach on standard classification benchmarks and outperform current methods for novel category discovery by a significant margin.

연구 동기 및 목표

• 새로운 시각적 클래스를 라벨 없이 자동으로 발견하도록 동기를 부여한다.
• 라벨 데이터와 비라벨 데이터에 대해 자가 지도 학습으로 라벨 바이어스를 피하는 표현 학습 파이프라인을 제안한다.
• 새로운 클래스의 클러스터링을 위해 라벨링된 데이터에서 비라벨링 데이터로 지식을 전이하기 위해 랭크 통계를 도입한다.
• 라벨 데이터와 비라벨 데이터에서 공동으로 학습하여 망각( catastrophic forgetting )을 방지하고 감독 학습과 클러스터링 성능을 모두 향상시킨다.
• 분류 작업 내에서 발견된 클래스를 확장하기 위한 점진 학습을 탐구한다.

제안 방법

• 레이블된 데이터의 편향을 피하기 위해 라벨링/비라벨 데이터의 합집합에서 자가 지도 학습(RotNet)으로 CNN 표현 Phi를 사전 학습한다.
• 표현을 견고하게 유지하면서 C^l에 대한 분류기를 학습하기 위해 라벨 데이터에서 마지막 층을 미세 조정한다.
• 상위 k 활성화 인덱스로 비라벨링 이미지 표현을 비교하기 위해 랭크 통계를 사용하여 노이즈가 있는 쌍별 의사레이블 s_ij를 생성한다.
• 의사레이블 기반 클러스터링을 생성하기 위해 BCE 손실로 비라벨링 쌍의 유사도 점수를 계산하는 새로운 헤드 eta^u를 훈련시킨다.
• 라벨 데이터에서 L_CE와 비라벨 데이터에서 L_BCE를 함께 최적화하고 학습의 안정화를 위한 일관성 정규화 항 L_MSE를 포함한다.
• 선택적으로 분류기 헤드를 확장해 C^u 신규 클래스를 포함시키고 비라벨 데이터에 의사레이블을 사용하는 점진 학습을 수행한다.

실험 결과

연구 질문

• RQ1 자가 라벨 데이터와 라벨이 없는 데이터를 결합한 자가 지도 학습이 라벨 데이터만으로 부트스트랩하는 것보다 더 일반적인 표현을 생성할 수 있는가?
• RQ2 비라벨링 이미지 임베딩의 랭크 기반 비교가 새로운 시각 카테고리를 클러스터링하기 위한 의사레이블을 효과적으로 생성할 수 있는가?
• RQ3 라벨 데이터와 비라벨 데이터에 대한 공동 학습이 망각을 방지하고 인식 및 클러스터링 성능을 모두 향상시키는가?
• RQ4 새로 발견된 카테고리를 기존 클래스와 함께 편향 없이 통합하기 위해 점진 학습이 효과적인가?
• RQ5 제안된 방법이 표준 벤치마크에서 최첨단 신카테고리 발견 방법과 비교하여 어떤가?

주요 결과

• 라벨과 비라벨 데이터의 합집합에 대한 자가 지도 사전 학습은 알려진 클래스에 대한 편향을 줄이고 견고한 저수준 특성을 제공한다.
• 상위-k 활성화 집합을 사용하는 랭크 통계는 비라벨 데이터에 대한 의사레이블 생성을 위한 견고한 메커니즘을 제공하여 새로운 카테고리의 효과적인 클러스터링을 가능하게 한다.
• 라벨 데이터의 감독 손실과 비라벨 데이터의 클러스터링 손실을 일관성 정규화로 함께 최적화하면 성능이 향상되고 타깃 드리프트가 완화된다.
• 이 방법은 CIFAR-10, CIFAR-100, SVHN, OmniGlot, 및 ImageNet 벤치마크에서 최첨단 신카테고리 발견 결과를 달성한다.
• 점진 학습은 오래된 클래스와 새로운 클래스를 함께 다루는 공동 분류기를 가능하게 하여 기존 및 신규 카테고리 모두에서 강한 성능을 보이며 정확도를 추가로 높인다.