[논문 리뷰] Generative OpenMax for Multi-Class Open Set Classification

Zongyuan Ge, Sergey Demyanov외 2명|arXiv (Cornell University)|2017. 07. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 54

한 줄 요약

이 논문은 Generative OpenMax (G-OpenMax)를 소개합니다. 이는 GAN으로 생성된 샘플을 사용하여 다중 클래스 개방형(Open Set) 분류에서 미지의 클래스를 명시적으로 모델링하고 탐지하며, MNIST와 HASYv2에서 OpenMax보다 성능을 향상시키는 동시에 미지 샘플의 시각화를 가능하게 합니다.

ABSTRACT

We present a conceptually new and flexible method for multi-class open set classification. Unlike previous methods where unknown classes are inferred with respect to the feature or decision distance to the known classes, our approach is able to provide explicit modelling and decision score for unknown classes. The proposed method, called Gener- ative OpenMax (G-OpenMax), extends OpenMax by employing generative adversarial networks (GANs) for novel category image synthesis. We validate the proposed method on two datasets of handwritten digits and characters, resulting in superior results over previous deep learning based method OpenMax Moreover, G-OpenMax provides a way to visualize samples representing the unknown classes from open space. Our simple and effective approach could serve as a new direction to tackle the challenging multi-class open set classification problem.

연구 동기 및 목표

• Closed-set 가정 너머의 개방형 인식 동기를 제시하고 미지의 클래스를 명시적으로 모델링한다.
• OpenMax를 확장하여 미지의 카테고리에 대한 명시적 확률 추정치를 제공한다.
• GAN으로 생성된 샘플을 사용하여 그럴듯한 미지의 샘플을 표현하고 점수를 보정한다.
• MNIST와 HASYv2에서 개방성의 변화를 반영한 개방형 인식에서의 이득을 평가한다.

제안 방법

• GAN-생성 샘플을 사용하여 추가적인 미지 클래스 하나를 가진 분류기를 학습시키는 방식으로 OpenMax를 확장한다.
• 조건부 GAN을 사용하여 알려진 클래스의 잠재 하위 공간의 혼합으로부터 그럴듯한 미지의 클래스 이미지를 합성한다.
• 사전에 학습된 분류기에 의해 잘못 분류된 생성 샘플을 선택하여 Net^G 학습의 미지로 라벨링한다.
• Net^G를 학습시켜 미지 클래스에 대한 추가 차원을 포함한 활성화 벡터를 생성하도록 하여 명시적 미지 확률 추정을 가능하게 한다.
• 활성화 점수에 Weibull 모델을 적합하고 OpenMax 스타일 재가중화를 통해 알려진 클래스에 대한 Prob(y|x)와 미지 클래스에 대한 Prob(unknown|x)를 보정한다.
• 추론 시 활성화를 재보정하고 임계값을 조정하여 알려진 클래스 vs 미지를 결정한다.

실험 결과

연구 질문

• RQ1 미지의 클래스를 합성 샘플로 명시적으로 모델링하는 것이 다중 클래스 개방형 인식에서 이점을 가져오는가?
• RQ2 GAN 기반의 미지 샘플 합성이 개방형 분류에서의 보정 및 의사결정 마진에 어떤 영향을 주는가?
• RQ3 알려진 클래스의 잠재 표현을 혼합하여 그럴듯한 미지 샘플을 생성하는 것이 오픈 스페이스 리스크에 어떤 영향을 주는가?
• RQ4 G-OpenMax가 EVT 기반 보정에서의 개방성 및 꼬리 크기 선택에 대해 강건한가?
• RQ5 G-OpenMax가 대표적 미지 클래스 샘플을 시각화하여 의사결정을 보조하는 데 효과적인가?

주요 결과

• G-OpenMax는 MNIST와 HASYv2에서 개방성 수준에 관계없이 OpenMax보다 일관되게 개방형 인식을 향상시킨다.
• GAN으로 합성된 미지 샘플을 사용하면 의사 확률이 아닌 추정 가능하고 명시적인 미지 클래스 점수를 가능하게 한다.
• G-OpenMax는 평가 설정에서 최적 임계값에서 OpenMax보다 약 10% 포인트 높은 정확도를 달성한다.
• 제한 연구에서 GAN 기반 샘플이 꼬리 크기 변화에 걸쳐 미지 클래스 정확도와 보정에 도움을 준다.
• 질적 분석은 훈련 잠재 공간에서 그럴듯한 미지에 유사한 혼합 생성 샘플을 시각화한다.
• G-OpenMax는 알려진 클래스 탐지에 대해 큰 Weibull 꼬리 크기에 대해도 강건하고 전체 성능을 유지한다.