[논문 리뷰] PMAL: Open Set Recognition via Robust Prototype Mining

Jing Lü, Yunxu Xu외 3명|arXiv (Cornell University)|2022. 03. 16.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 임베딩 공간 최적화 이전에 고품질이면서 다양한 프로토타입을 명시적으로 채굴하는 새로운 오픈 세트 인식 프레임워크인 PMAL을 제안한다. 데이터 불확실성과 다양성 인식 필터링을 활용하여, 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 강력한 프로토타입 선택과 안정적인 임베딩 학습을 통해 기존의 알려진 클래스와 알려지지 않은 클래스의 구분 능력을 크게 향상시킨다.

ABSTRACT

Open Set Recognition (OSR) has been an emerging topic. Besides recognizing predefined classes, the system needs to reject the unknowns. Prototype learning is a potential manner to handle the problem, as its ability to improve intra-class compactness of representations is much needed in discrimination between the known and the unknowns. In this work, we propose a novel Prototype Mining And Learning (PMAL) framework. It has a prototype mining mechanism before the phase of optimizing embedding space, explicitly considering two crucial properties, namely high-quality and diversity of the prototype set. Concretely, a set of high-quality candidates are firstly extracted from training samples based on data uncertainty learning, avoiding the interference from unexpected noise. Considering the multifarious appearance of objects even in a single category, a diversity-based strategy for prototype set filtering is proposed. Accordingly, the embedding space can be better optimized to discriminate therein the predefined classes and between known and unknowns. Extensive experiments verify the two good characteristics (i.e., high-quality and diversity) embraced in prototype mining, and show the remarkable performance of the proposed framework compared to state-of-the-arts.

연구 동기 및 목표

• 프로토타입이 노이즈와 중복성에 취약한 암묵적 프로토타입 학습의 한계를 해결한다.
• 고품질 및 고다양성 프로토타입을 명시적으로 선택하여 알려진 클래스와 알려지지 않은 클래스 간의 구분 능력을 향상시킨다.
• 프로토타입 채굴과 임베딩 학습을 순차적으로 수행하는 이단계 프레임워크를 개발하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 다양한 사전 훈련된 모델 간에 프로토타입 선택을 안정화시켜 신뢰할 수 있고 일관된 채굴 결과를 보장한다.
• 명시적 프로토타입 채굴이 임베딩 공간 내에서 내부 클래스의 밀도 향상과 외부 클래스 간의 분리도 향상시킨다는 것을 입증한다.

제안 방법

• 저품질 요인(예: 가림, 흐림)으로 인한 데이터 불확실성을 측정함으로써 고품질 훈련 샘플을 식별하기 위해 새로운 지표인 임베딩 구조 강건성(embedding topology robustness)을 도입한다.
• 각 클래스별로 프로토타입을 선택하기 위해 다각도 기반 필터링 전략을 적용하여 중복성을 감소시키고, 각 카테고리 내에서 다양한 외관을 유지한다.
• 선택된 고품질 및 고다양성 프로토타입을 임베딩 최적화 중에 고정된 앵커로 사용하여 포인트-셋 거리 측정 기반 손실을 계산한다.
• 분류 손실과 프로토타입 인식 마진 손실을 조합한 공동 손실을 최적화하여 알려진 클래스와 알려지지 않은 클래스 간의 분리를 강제한다.
• 모델 하나에 의존도를 줄이기 위해 다수의 사전 훈련된 모델(U=2)을 활용하여 프로토타입 품질 점수를 계산한다.
• 추론 시에는 추가적인 파rameter 없이 단일 모델만을 사용하여 특징 추출함으로써 추론 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 품질과 다양성 제약 조건을 갖춘 명시적 프로토타입 채굴이 암묵적 프로토타입 학습보다 오픈 세트 인식 성능을 향상시키는가?
• RQ2 다양한 사전 훈련된 모델 간에 프로토타입 선택의 강건성은 어떻게 달라지며, 안정적인 채굴 결과를 보장하는가?
• RQ3 프로토타입 선택의 다양성이 임베딩 공간 내에서 내부 클래스의 밀도 향상과 외부 클래스 간 분리도 향상에 얼마나 기여하는가?
• RQ4 ε(품질 임계값), δ(마진), λp(손실 가중치)와 같은 하이퍼파라미터가 모델의 AUROC와 수렴에 미치는 영향은 어떠한가?
• RQ5 제안된 프레임워크는 특히 복잡한 데이터셋인 TinyImageNet과 같은 다양한 벤치마크에서 최신 기술 수준(SOTA) 방법을 초월하는가?

주요 결과

• PMAL은 MNIST와 TinyImageNet 벤치마크에서 모두 최신 기술 수준(SOTA) AUROC 성능을 달성하였으며, TinyImageNet에서 이전 SOTA 대비 10.2% 향상된 성능을 기록했다.
• 표 5에서 보듯이, 다각도 기반 프로토타입 선택 방법은 랜덤 선택 및 K-Means 클러스터링보다 뛰어나며, 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 다양한 사전 훈련된 모델 간에 프로토타입 채굴이 안정적이며, 세 번의 반복 실행 동안 프로토타입 위치의 변동이 최소한이었으며, 이는 강건성을 시사한다.
• 클래스당 T=10개의 프로토타입을 사용할 경우, T=1일 때보다 더 밀도 있는 내부 클래스 임베딩을 얻을 수 있었으며, 이는 알려지지 않은 샘플과의 겹침을 줄이고 일반화 능력을 향상시켰다.
• 하이퍼파라미터 λp에 대한 민감도가 낮아, λp 값이 0.5에서 1.0 사이일 때 AUROC가 오직 0.3점 이내로 변동함으로써 뛰어난 안정성을 보였다.
• PMAL이 학습한 임베딩 공간은 CPN과 RPL에 비해 알려진 클래스와 알려지지 않은 클래스 간의 분리도가 뚜렷하게 크며, 특히 복잡한 데이터셋인 TinyImageNet에서 두드러진 성능 향상을 보였다.