[논문 리뷰] Open Set Recognition with Conditional Probabilistic Generative Models

Xin Sun, Chi Zhang외 2명|arXiv (Cornell University)|2020. 08. 12.

Bayesian Modeling and Causal Inference참고 문헌 50인용 수 10

한 줄 요약

이 논문은 개방 집합 인식을 위한 조건부 확률 생성 모델(CPGM)을 제안하며, 변분 오토에인식기와 적대적 오토에인식기에 반복적으로 클래스별 조건부 정규분포를 통합하여 기존 클래스 분류와 알 수 없는 샘플 탐지 기능을 동시에 구현한다. 이 방법은 표준 VAE와 AAE보다 더 뛰어난 군집 밀도와 결정 경계의 명확성을 확보한 분류기반 잠재 표현을 학습함으로써 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Deep neural networks have made breakthroughs in a wide range of visual understanding tasks. A typical challenge that hinders their real-world applications is that unknown samples may be fed into the system during the testing phase, but traditional deep neural networks will wrongly recognize these unknown samples as one of the known classes. Open set recognition (OSR) is a potential solution to overcome this problem, where the open set classifier should have the flexibility to reject unknown samples and meanwhile maintain high classification accuracy in known classes. Probabilistic generative models, such as Variational Autoencoders (VAE) and Adversarial Autoencoders (AAE), are popular methods to detect unknowns, but they cannot provide discriminative representations for known classification. In this paper, we propose a novel framework, called Conditional Probabilistic Generative Models (CPGM), for open set recognition. The core insight of our work is to add discriminative information into the probabilistic generative models, such that the proposed models can not only detect unknown samples but also classify known classes by forcing different latent features to approximate conditional Gaussian distributions. We discuss many model variants and provide comprehensive experiments to study their characteristics. Experiment results on multiple benchmark datasets reveal that the proposed method significantly outperforms the baselines and achieves new state-of-the-art performance.

연구 동기 및 목표

• 표준 딥 생성 모델(예: VAE와 AAE)이 모든 클래스에 공통된 잠재 분포를 사용하기 때문에 분류 기능이 제한됨을 해결하기 위해.
• 확률적 생성 모델을 사용하여 개방 집합 인식(알 수 없는 샘플 탐지)과 알려진 클래스 분류를 동시에 수행할 수 있는 통합 프레임워크를 개발하기 위해.
• 잠재 공간을 클래스 레이블에 조건부로 설정함으로써 재구성 및 분류에 있어 표현 학습의 향상을 어떻게 달성할 수 있는지 탐색하기 위해.
• CPGM-VAE와 CPGM-AAE의 변종이 군집 품질, 결정 경계 명확성, 전체 개방 집합 인식(OSR) 성능 측면에서 얼마나 효과적인지 비교하기 위해.

제안 방법

• 모든 클래스에 공통된 잠재 분포가 아닌, 클래스별로 다른 특징을 모델링하기 위해 잠재 공간에 조건부 사후분포 $ q_{\bm{\phi}}(\bm{z}|\bm{x},k) $ 를 도입하며, 여기서 $ k $ 는 알려진 클래스를 의미한다.
• 각 클래스의 잠재 표현이 서로 다른 다변수 정규분포 $ \mathcal{N}(\bm{z}; \bm{\mu}_k, \mathbf{I}) $ 를 근사하도록 강제하며, $ \bm{\mu}_k $ 는 클래스 레이블에서 완전히 연결된 신경망을 통해 예측된다.
• CPGM-VAE에서 확률적 래더 아키텍처를 적용하여 레이어 간 정보 손실을 최소화하고 표현 품질을 향상시킨다.
• CPGM-AAE에서는 적대적 훈련을 통해 사후분포를 클래스 조건부 사전분포와 일치시켜 생성 및 분류 능력을 향상시킨다.
• 테스트 시점에 재구성 오차와 조건부 정규분포 거리의 이중 탐지 신호를 사용하여 알려진 샘플과 알 수 없는 샘플을 구분한다.
• 재구성 정밀도, 군집 밀도, 결정 경계 뚜렷함 사이의 상호 트레이드오프를 분석하기 위해 AAE 기반의 세 가지 변종을 탐색한다.

실험 결과

연구 질문

• RQ1 생성 모델의 잠재 공간을 클래스 레이블에 조건부로 설정함으로써 개방 집합 인식에서 알려진 클래스 분류와 알 수 없는 샘플 탐지 성능을 동시에 향상시킬 수 있는가?
• RQ2 공통 사전분포 대비 클래스 조건부 정규분포 사전분포를 사용할 경우, 잠재 공간 내 군집 구조와 결정 경계에 어떤 영향을 미치는가?
• RQ3 재구성 품질, 군집 밀도, 탐지 정확도 측면에서 CPGM-VAE와 CPGM-AAE의 상대적 성능은 어떠한가?
• RQ4 재구성 오차와 조건부 정규분포 거리 신호를 동시에 사용할 경우, 각각의 신호만 사용할 때보다 알 수 없는 샘플 탐지 성능이 얼마나 향상되는가?
• RQ5 CPGM-VAE에서의 확률적 래더와 같은 아키텍처 선택은 표현 능력과 OSR 성능에 어떤 영향을 미치는가?

주요 결과

• CPGM-VAE와 CPGM-AAE는 여러 벤치마크 데이터셋에서 기준 VAE 및 AAE 모델보다 유의미하게 뛰어난 성능을 보이며, 개방 집합 인식 분야에서 새로운 최신 기술 수준(SOTA) 성능을 달성한다.
• CPGM-AAE는 CPGM-VAE보다 알려진 클래스의 잠재 공간에서 더 밀도 있고 잘 분리된 군집을 생성하여 더 나은 표현 학습 능력을 보여준다.
• CPGM-AAE의 재구성 오차 히스토그램은 CPGM-VAE보다 알려진 샘플과 알 수 없는 샘플 간의 결정 경계가 더 명확하게 드러나 있어 더 효과적인 탐지가 가능함을 시사한다.
• 재구성 오차를 탐지 신호로 추가하면 CPGM-AAE의 성능 향상이 두드러지지만, CPGM-VAE에는 거의 영향을 주지 않아, CPGM-AAE의 재구성 과정이 탐지 목표와 더 잘 일치함을 시사한다.
• 시각화 결과는 알려진 샘플의 재구성에서 더 많은 구조적 세부 정보를 유지하는 반면, 알 수 없는 샘플은 모호하거나 잘못된 재구성(예: 배가 고양이로 재구성됨)을 보여주어 이들을 거부하는 데 유리함을 확인한다.