[논문 리뷰] Hybrid Models for Open Set Recognition

Hongjie Zhang, Ang Li외 2명|arXiv (Cornell University)|2020. 03. 27.

Anomaly Detection Techniques and Applications참고 문헌 38인용 수 7

한 줄 요약

이 논문은 흐름 기반 밀도 추정기와 분류기의 공유 잠재 표현을 함께 학습하여 개방 집합 인식 성능을 향상시키는 새로운 엔드 투 엔드 프레임워크인 OpenHybrid를 제안한다. 인코더, 분류기, 노멀라이징 플로우를 동시에 학습시킴으로써 모델은 알려진 클래스와 알려지지 않은 클래스를 효과적으로 분리하며, CIFAR10 및 SVHN과 같은 벤치마크에서 최신 기술 수준의 성능을 달성한다. AUROC 점수는 최대 0.998에 이르며, 흐름 모델이 분포 외 샘플에 대해 더 높은 가능도를 할당하는 일반적인 문제를 해결한다.

ABSTRACT

Open set recognition requires a classifier to detect samples not belonging to any of the classes in its training set. Existing methods fit a probability distribution to the training samples on their embedding space and detect outliers according to this distribution. The embedding space is often obtained from a discriminative classifier. However, such discriminative representation focuses only on known classes, which may not be critical for distinguishing the unknown classes. We argue that the representation space should be jointly learned from the inlier classifier and the density estimator (served as an outlier detector). We propose the OpenHybrid framework, which is composed of an encoder to encode the input data into a joint embedding space, a classifier to classify samples to inlier classes, and a flow-based density estimator to detect whether a sample belongs to the unknown category. A typical problem of existing flow-based models is that they may assign a higher likelihood to outliers. However, we empirically observe that such an issue does not occur in our experiments when learning a joint representation for discriminative and generative components. Experiments on standard open set benchmarks also reveal that an end-to-end trained OpenHybrid model significantly outperforms state-of-the-art methods and flow-based baselines.

연구 동기 및 목표

• 기존의 개방 집합 인식 방법이 분류 기반 특징에만 의존하는 한계를 해결하기 위해, 알려지지 않은 클래스를 탐지하는 데 최적의 특징이 아닐 수 있음을 고려한다.
• 흐름 기반 모델에서 분포 외 샘플이 분포 내 샘플보다 더 높은 가능도를 가짐으로써 발생하는 일반적인 실패 모드를 해결한다.
• 공유 잠재 공간에서 분류기와 흐름 기반 밀도 추정기를 함께 학습시킴으로써 개방 집합 인식을 향상시킨다.
• 공동 표현 학습이 흐름 기반 가능도 추정을 안정화시키고 이상치 탐지 능력을 향상시킨다는 것을 경험적으로 검증한다.

제안 방법

• OpenHybrid 프레임워크는 공유 인코더, 알려진 클래스 예측을 위한 분류기 헤드, 가능도 계산을 위한 흐름 기반 밀도 추정기로 구성된다.
• 내재 샘플에 대한 최대 가능도 추정과 분류를 위한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 학습시킨다.
• 인코더가 학습한 잠재 공간은 분류기와 흐름 모델 간에 공유되어 분류 기반 및 생성 기반 목표의 공동 최적화를 가능하게 한다.
• 흐름 기반 모델은 잠재 공간에서 복잡한 다중 모달 데이터 분포를 모델링하기 위해 역전이 가능한 커파링 레이어를 사용한다.
• 흐름 모델의 로그 가능도 출력에 임계값을 적용하여 알려지지 않은(분포 외) 샘플을 탐지한다.
• 표준 개방 집합 벤치마크인 MNIST, SVHN, CIFAR10, TinyImageNet를 사용하여 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 분류기와 흐름 기반 밀도 추정기를 함께 학습시키는 것이 개방 집합 인식 성능을 향상시킬 수 있는가?
• RQ2 공유 표현을 학습시키는 것이 흐름 모델이 분포 외 샘플에 대해 더 높은 가능도를 할당하는 문제를 완화할 수 있는가?
• RQ3 엔드 투 엔드 학습 방식이 미리 학습된 인코더를 사용하고 흐름 모델을 미세조정하는 방식보다 어떻게 다를 수 있는가?
• RQ4 모델은 CIFAR10 및 SVHN과 같은 복잡한 데이터셋에서 높은 AUROC를 기록하며 개방 집합 탐지에 일반화될 수 있는가?

주요 결과

• OpenHybrid 모델은 표준 개방 집합 벤치마크에서 최신 기술 수준의 성능을 달성하며, CIFAR10(알려진 클래스) 및 SVHN(알 수 없는 클래스) 설정에서 AUROC가 0.998에 이른다.
• 엔드 투 엔드로 학습된 OpenHybrid 모델은 t-SNE 시각화를 통해 알려지지 않은 샘플(예: MNIST의 숫자 6–9)이 잠재 공간에서 알려진 클래스와 효과적으로 분리됨을 보여준다.
• 기본 모델인 DIGLM 및 심지어 OE 증강된 버전에서도 발생하는 일반적인 문제인 흐름 기반 모델이 분포 외 샘플에 대해 더 높은 가능도를 할당하는 문제를 모델이 해결한다.
• 절단 실험 결과에 따르면 공동 학습이 필수적임을 확인할 수 있으며, 미리 학습된 인코더를 사용한 모델은 알려진 클래스와 알려지지 않은 클래스 간의 분리가 덜 명확하다.
• 유연한 아키텍처 하이퍼파rameter에 대해 안정적인 성능을 유지하며, 잔차 블록 수(4~16개)의 다양한 흐름 깊이 설정에서도 성능이 일관되게 유지됨을 시사한다.