[논문 리뷰] Unseen Class Discovery in Open-world Classification

Lei Shu, Hu Xu외 1명|arXiv (Cornell University)|2018. 01. 17.

Machine Learning and Data Classification참고 문헌 24인용 수 57

한 줄 요약

본 논문은 학습에 사용된 보유 클래스 지식을 활용하여, 거절된 오픈 월드 샘플들 중 보지 않은 클래스들을 계층적 군집화를 통해 학습된 같은/다름 쌍 거리로 안내받아 발견하고 군집화하는 joint Open Classification Network (OCN) 및 Pairwise Classification Network (PCN)을 제시한다.

ABSTRACT

This paper concerns open-world classification, where the classifier not only needs to classify test examples into seen classes that have appeared in training but also reject examples from unseen or novel classes that have not appeared in training. Specifically, this paper focuses on discovering the hidden unseen classes of the rejected examples. Clearly, without prior knowledge this is difficult. However, we do have the data from the seen training classes, which can tell us what kind of similarity/difference is expected for examples from the same class or from different classes. It is reasonable to assume that this knowledge can be transferred to the rejected examples and used to discover the hidden unseen classes in them. This paper aims to solve this problem. It first proposes a joint open classification model with a sub-model for classifying whether a pair of examples belongs to the same or different classes. This sub-model can serve as a distance function for clustering to discover the hidden classes of the rejected examples. Experimental results show that the proposed model is highly promising.

연구 동기 및 목표

• 테스트 데이터가 학습 중에 보지 못한 unseen 클래스에 속할 수 있는 오픈 월드 분류를 다룬다.
• 수동 라벨링 없이 오픈 분류기의 거부 샘플 중에서 숨겨진 unseen 클래스를 발견할 수 있도록 한다.
• seen 클래스에서 학습된 유사도 지식을 unseen 클래스로 전달하여 군집화를 안내한다.

제안 방법

• 공유 표현을 갖는 Open Classification Network (OCN)과 Pairwise Classification Network (PCN)으로 구성된 공동 모델을 학습한다.
• OCN은 unseen 클래스에 대한 거부를 포함하는 표준 오픈 분류를 1-vs-rest 시그모이드 출력(DOC 기반)을 사용하여 수행한다.
• PCN은 두 개의 동일한 CNN 분기를 사용하여 예시 쌍에 대한 이진 같은/다른 분류기를 학습한다.
• 계층적 군집화(완전 연결)가 PCN 거리를 군집 메트릭으로 사용하여 unseen 클래스 클러스터를 발견한다.
• 비지도 표현을 제공하고 이미 본(seen) 클래스에 대한 과적합을 방지하기 위해 함께 학습되는 오토인코더를 학습한다.
• 검증 기반 임계치 theta를 사용하여 군집화의 중지 기준을 결정하고, 올바른 수의 unseen 클러스터를 보장한다.
• 훈련 데이터: (i) OCN용 오픈 분류 데이터, (ii) PCN용 seen-seen 쌍, (iii) 오토인코더용 비라벨 데이터; 손실 L_OCN, L_PCN, L_ae를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 오픈 월드 분류기가 unseen 샘플을 거부하고 unseen 샘플의 군집화를 위한 의미 있는 거리 함수를 제공할 수 있는가?
• RQ2 seen 클래스에서 학습된 유사도(거리) 함수가 계층적 군집화를 안내하여 숨겨진 unseen 클래스의 수를 나타낼 수 있는가?
• RQ3 결합된 OCN+PCN+HC 파이프라인이 오픈 월드 설정에서 unseen 클래스를 얼마나 잘 발견하고 군집화하는가?

주요 결과

• OCN은 MNIST 및 EMNIST 데이터셋에서 unseen 클래스 샘플 거부에 대해 OpenMax를 일관되게 능가합니다.
• PCN은 seen-클래스 간의 내부/외부 유사도를 unseen 클래스 쌍으로 전달하며 seen-seen, seen-unseen, unseen-unseen 쌍에서 합리적인 정확도를 달성합니다.
• PCN을 거리 함수로 사용하는 계층적 군집화는 MNIST와 EMNIST의 unseen 세트에서 실제 unseen 클러스터 수를 거의 복원할 수 있으며, 거부된(잡음이 있는) 샘플을 군집화하는 경우에도 강건합니다.
• Encoder+HC에 비해 PCN+HC는 클러스터 수 정확도에서 현저히 우수한 성능을 보이며, 특히 EMNIST에서 PCN이 학습한 거리를 활용하는 이점을 보여줍니다.
• K-평균은 실제 클러스터 수가 주어졌을 때 더 높은 군집 품질을 달성할 수 있지만 클러스터 수를 추정할 수 없지만, PCN+HC는 클러스터 수를 추정하고 이를 바탕으로 K-평균을 정제하도록 할 수 있습니다.