[논문 리뷰] One-vs-Rest Network-based Deep Probability Model for Open Set Recognition

Jaeyeon Jang, Chang Ouk Kim|arXiv (Cornell University)|2020. 04. 17.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 12

한 줄 요약

이 논문은 비일치(알 수 없는) 예제로부터의 특징 학습을 향상시켜 개방 설정 인식을 향상시키기 위해 CNN 특징 추출기와 통합된 one-vs-rest 시그모이드 네트워크 아키텍처를 제안한다. 결정 점수의 캘리브레이션에 극값 이론을 활용함으로써, 모델은 잘 정당화된 클래스 소속도 확률을 생성하며, 특히 중간 수준의 개방성에서 최신 기법들을 능가한다.

ABSTRACT

Unknown examples that are unseen during training often appear in real-world computer vision tasks, and an intelligent self-learning system should be able to differentiate between known and unknown examples. Open set recognition, which addresses this problem, has been studied for approximately a decade. However, conventional open set recognition methods based on deep neural networks (DNNs) lack a foundation for post recognition score analysis. In this paper, we propose a DNN structure in which multiple one-vs-rest sigmoid networks follow a convolutional neural network feature extractor. A one-vs-rest network, which is composed of rectified linear unit activation functions for the hidden layers and a single sigmoid target class output node, can maximize the ability to learn information from nonmatch examples. Furthermore, the network yields a sophisticated nonlinear features-to-output mapping that is explainable in the feature space. By introducing extreme value theory-based calibration techniques, the nonlinear and explainable mapping provides a well-grounded class membership probability models. Our experiments show that one-vs-rest networks can provide more informative hidden representations for unknown examples than the commonly used SoftMax layer. In addition, the proposed probability model outperformed the state-of-the art methods in open set classification scenarios.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 개방 설정 인식에서 사후 점수 분석에 이론적 기반의 부재를 해결하기 위해.
• 학습 중 비일치(알 수 없는) 예제에 대한 딥 네트워크의 학습 능력을 향상시키기 위해.
• 극값 이론을 활용하여 개방 설정 조건 하에서 클래스 소속도에 대한 잘 정비된 확률 모델을 개발하기 위해.
• 명시적이고 설명 가능한 비선형 특징-점수 매핑을 통해 개방 공간 위험을 최소화하기 위해.
• 알 수 없는 예제로부터 유용한 정보를 추출함으로써 지능형 자기학습 시스템을 지원하는 프레임워크를 제공하기 위해.

제안 방법

• CNN 기반의 특징 추출기 뒤에 여러 개의 one-vs-rest 시그모이드 네트워크가 연결되며, 각 네트워크는 한 개의 알려진 클래스를 나머지 모든 클래스와 구분하도록 훈련된다.
• 각 one-vs-rest 네트워크는 히든 레이어에 ReLU 활성화 함수와 단일 시그모이드 출력 노드를 사용하여 일치 및 비일치 샘플 양측에서 균형 잡힌 학습이 가능하도록 한다.
• SoftMax에 존재하는 정규화 항을 회피함으로써 비일치 예제로부터의 정보 추출을 극대화함으로써, 알려지지 않은 클래스에 대한 학습 억제를 방지한다.
• 극값 이론(EVT)을 적용하여 일치 및 비일치 점수의 극단치를 Weibull 분포에 적합시켜 결정 점수를 캘리브레이션한다.
• 캘리브레이션된 점수는 개방 공간 위험을 고려하고 특징 공간 기하학에 이론적으로 기반한 클래스 소속도 확률을 추정하는 데 사용된다.
• F-measure 최적화를 위해 하이퍼파rameter θ(꼬리 크기)와 α(임계값)가 다양한 개방 수준에서 조정된다.

실험 결과

연구 질문

• RQ1 SoftMax 기반 분류기와 비교해 볼 때, one-vs-rest 시그모이드 네트워크는 비일치 예제에 대한 특징 표현을 향상시키는가?
• RQ2 제안된 아키텍처는 개방 설정 인식에서 확률 추정에 대해 이론적으로 타당한 기반을 제공하는가?
• RQ3 EVT 기반 캘리브레이션의 통합이 클래스 소속도 확률 추정의 신뢰성을 어떻게 향상시키는가?
• RQ4 딥 러닝 기반 개방 설정 인식에서 모델은 개방 공간 위험을 어느 정도 감소시키는가?
• RQ5 하이퍼파rameter θ와 α는 다양한 수준의 개방성에서 성능에 어떻게 영향을 미치는가?

주요 결과

• 제안된 방법은 특히 중간 수준의 개방성에서 최신 기법들을 뛰어넘는 성능을 보였다 (예: Cifar-100에서 37% 개방성).
• LFW 데이터셋에서 개방성이 50%를 초과할 경우, 제안된 방법은 기준 방법보다 높은 F-measure를 달성하여 고개방성 환경에서도 강건함을 입증했다.
• one-vs-rest 네트워크는 알려진 클래스와 비일치 클래스 분포를 더 잘 분리하는 더 정보가 풍부한 잠재 특징을 생성했으며, KL 발산 비교에서 p-value < 10−25를 기록했다.
• 성능은 꼬리 크기 파라미터 θ에 가장 민감했으며, 특히 고개방성에서 작은 꼬리 크기로 인해 Weibull 피팅이 불량해지고 성능이 떨어지는 경향이 있었다.
• 데이터가 충분할 경우, 극단치 비율이 낮은(낮은 θ) 조건에서 F-measure가 최고였으며, 이는 극단치 샘플링을 최소화하면서 최적의 캘리브레이션을 달성했음을 시사한다.
• 모델는 뛰어난 일반화 능력을 보였으며, 개방성이 증가할수록 F-measure 향상 폭이 커져 실제 데이터 부족 상황에서의 개방 세계 설정에서의 효과성을 확인했다.