[논문 리뷰] Learning Placeholders for Open-Set Recognition

Da-Wei Zhou, Han-Jia Ye외 1명|arXiv (Cornell University)|2021. 03. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 5

한 줄 요약

이 논문은 닫힌 집합 분류기의 성능을 향상시키기 위해 데이터와 분류기 플레이스홀더를 학습하여 미지 클래스를 예측하고, 클래스별로 적응적인 决定 임계값을 설정하는 새로운 방법 Proser를 제안한다. 다양체 믹스업을 사용해 데이터 플레이스홀더를 생성하고, 미지 클래스 경계를 위해 분류기 플레이스홀더를 확보함으로써 Proser는 다양한 데이터셋에서 미지 클래스 탐지 및 오픈셋 인식 성능을 향상시킨다. 적응적이고 분포 인식 임계값을 통해 기준선 방법을 능가한다.

ABSTRACT

Traditional classifiers are deployed under closed-set setting, with both training and test classes belong to the same set. However, real-world applications probably face the input of unknown categories, and the model will recognize them as known ones. Under such circumstances, open-set recognition is proposed to maintain classification performance on known classes and reject unknowns. The closed-set models make overconfident predictions over familiar known class instances, so that calibration and thresholding across categories become essential issues when extending to an open-set environment. To this end, we proposed to learn PlaceholdeRs for Open-SEt Recognition (Proser), which prepares for the unknown classes by allocating placeholders for both data and classifier. In detail, learning data placeholders tries to anticipate open-set class data, thus transforms closed-set training into open-set training. Besides, to learn the invariant information between target and non-target classes, we reserve classifier placeholders as the class-specific boundary between known and unknown. The proposed Proser efficiently generates novel class by manifold mixup, and adaptively sets the value of reserved open-set classifier during training. Experiments on various datasets validate the effectiveness of our proposed method.

연구 동기 및 목표

• 실세계 응용에서 미지 클래스에 노출되었을 때 닫힌 집합 분류기의 과도한 자신감 있는 예측 문제를 해결하기 위해.
• 학습 중에 명시적인 미지 클래스 데이터가 필요 없이도 새로운 클래스 분포를 예측함으로써 오픈셋 인식을 향상시키기 위해.
• 전용 플레이스홀더를 통해 알려진 클래스와 미지 클래스 간의 불변 경계를 학습함으로써 분류기를 校정하기 위해.
• 다양한 새로운 카테고리 간의 분포 이탈을 고려한 적응적 임계값 설정을 통해 미지 탐지 성능을 향상시키기 위해.
• 데이터 및 분류기 플레이스홀더 증강을 통해 표준 닫힌 집합 학습을 오픈셋 학습으로 전환하기 위해.

제안 방법

• 닫힌 집합 데이터에서 오픈셋 학습을 가능하게 하기 위해 다양체 믹스업을 통해 생성된 데이터 플레이스홀더를 도입하여 미지 클래스 데이터를 시뮬레이션한다.
• 알려진 클래스와 미지 클래스를 구분하기 위해 학습 가능한 클래스별 임계값으로서 분류기 플레이스홀더를 확보한다.
• 신뢰도를 校정하고 미지 클래스로의 일반화 성능를 향상시키기 위해 데이터 플레이스홀더와 분류기 플레이스홀더를 함께 엔드 투 엔드로 훈련한다.
• 결정 경계 및 임계값 적응성의 시각화를 위해 특징를 2차원으로 투영하는 선형 임bedding 레이어를 사용한다.
• 이중 경로 학습 전략을 활용: 데이터 플레이스홀더는 분포 예측을 위해, 분류기 플레이스홀더는 경계 校정을 위해.
• 학습된 분류기 플레이스홀더를 기반으로 추론 중에 임계값을 동적으로 적응적으로 조정함으로써 개별 인스턴스별 거부 결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양체 믹스업을 통해 생성된 데이터 플레이스홀더가 미지 클래스 분포를 효과적으로 시뮬레이션하여 오픈셋 일반화 성능을 향상시키는가?
• RQ2 학습 가능한 임계값으로서 분류기 플레이스홀더를 확보함으로써 다양한 분포 이탈 상황에서도 모델의 미지 클래스 탐지 능력이 향상되는가?
• RQ3 데이터 플레이스홀더와 분류기 플레이스홀더의 조합이 소프트맥스 확률의 임계값 설정에 비해 오픈셋 인식 성능에서 어떻게 비교되는가?
• RQ4 제안된 방법이 다양한 특성의 미지 클래스를 고려한 적응적 클래스별 임계값을 설정할 수 있는가?
• RQ5 데이터 플레이스홀더와 분류기 플레이스홀더가 보정 및 탐지 성능에 독립적이고 공동으로 기여하는 정도는 어느 정도인가?

주요 결과

• Proser는 CIFAR-100 및 MNIST를 포함한 여러 데이터셋에서 표준 소프트맥스 임계값 설정 및 기준선 방법보다 오픈셋 인식 작업에서 뚜렷한 성능 향상을 보였다.
• 제거 분석 결과, 다양체 믹스업을 통한 데이터 플레이스홀더와 더불어 더미 분류기로 구성된 분류기 플레이스홀더가 각각 성능 향상에 기여하며, 조합 시 상호 보완적 효과를 나타냈다.
• 여러 개의 더미 분류기(C > 1)를 사용할 경우 탐지 성능이 향상되어, 플레이스홀더 표현의 다양성이 강건성을 향상시킨다는 것을 시사한다.
• 결정 경계의 시각화 결과, Proser는 알려진 클래스와 미지 클래스를 효과적으로 분리하는 적응적이고 인스턴스별 임계값을 학습함을 확인했으며, 이는 새로운 클래스 분포가 크게 다를 경우에도 성립한다.
• 오픈니스 수준이 다양할 경우(29.29%에서 61.28%까지)에도 강건한 성능 유지를 보였으며, 증가하는 수의 미지 클래스에 대해 안정적인 성능 유지를 확인했다.
• 교정 및 분포 외 샘플 탐지 성능 향상으로 인해 Proser는 예측의 과도한 자신감을 효과적으로 완화함을 입증했다.