[논문 리뷰] Task-Adaptive Negative Class Envision for Few-Shot Open-Set Recognition

Shiyuan Huang, Jiawei Ma외 2명|arXiv (Cornell University)|2020. 12. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 4

한 줄 요약

이 논문은 소수 샘플 열린집합 인식(FSOR)을 위한 작업 적응형 음성 클래스 시각화 기법을 제안하며, 소수 샘플에서 음성 중심자를 동적으로 생성하여 적응형 거부 경계를 학습함으로써 수동 임계값 조정을 제거한다. 이 방법은 클래스 상관관계를 고려한 음성 생성을 통해 학습 과정에 임계값 적응을 통합함으로써 FSOR 및 일반화된 FSOR 벤치마크에서 성능을 향상시킨다.

ABSTRACT

We study the problem of few-shot open-set recognition (FSOR), which learns a recognition system capable of both fast adaptation to new classes with limited labeled examples and rejection of unknown negative samples. Traditional large-scale open-set methods have been shown ineffective for FSOR problem due to data limitation. Current FSOR methods typically calibrate few-shot closed-set classifiers to be sensitive to negative samples so that they can be rejected via thresholding. However, threshold tuning is a challenging process as different FSOR tasks may require different rejection powers. In this paper, we instead propose task-adaptive negative class envision for FSOR to integrate threshold tuning into the learning process. Specifically, we augment the few-shot closed-set classifier with additional negative prototypes generated from few-shot examples. By incorporating few-shot class correlations in the negative generation process, we are able to learn dynamic rejection boundaries for FSOR tasks. Besides, we extend our method to generalized few-shot open-set recognition (GFSOR), which requires classification on both many-shot and few-shot classes as well as rejection of negative samples. Extensive experiments on public benchmarks validate our methods on both problems.

연구 동기 및 목표

• 다양한 작업 간에서 신뢰할 수 없는 수동 校정이 필요한 소수 샘플 열린집합 인식(FSOR)에서의 임계값 조정 문제를 해결한다.
• FSOR에서 흔히 발생하는 저자료 환경에서 전통적인 대규모 열린집합 방법의 한계를 극복한다.
• 소수 샘플 맥락에 적응하는 동적, 작업별 거부 경계를 학습하여 거부 성능을 향상시킨다.
• 소수 샘플 및 다수 샘플 클래스가 모두 존재하고 알려지지 않은 클래스가 포함된 일반화된 소수 샘플 열린집합 인식(GFSOR)으로 프레임워크를 확장한다.
• 분류기 학습 과정에 음성 중심자 생성을 통합하여 모델이 알려지지 않은 샘플에 대해 내재된 민감도를 갖도록 한다.

제안 방법

• 소수 샘플 작업의 지원 집합에서 유도된 추가 음성 중심자를 소수 샘플 닫힘집합 분류기와 함께 보강한다.
• 소수 샘플 예제 간의 클래스 상관관계를 사용하여 음성 중심자를 생성함으로써 의미적 관련성과 다양성을 확보한다.
• 학습된 중심자와의 구분을 통해 분류기를 최적화하여 동적으로 생성된 음성 중심자와 알려진 클래스 간의 구분을 학습함으로써 동적 거부 경계를 학습한다.
• 학습된 음성 중심자를 기반으로 거부 경계를 함수로 정의함으로써 외부 임계값 조정 없이 작업별 적응이 가능하도록 한다.
• 소수 샘플 및 다수 샘플 클래스를 함께 모델링하면서도 알려지지 않은 샘플에 대한 강력한 거부 성능를 유지하기 위해 GFSOR로 프레임워크를 확장한다.
• 생성된 음성 중심자를 통한 분류 및 열린집합 식별을 통합한 유일한 목표 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 소수 샘플 예제에서 음성 중심자를 생성함으로써 수동 임계값 조정 없이 동적이고 작업 적응형 거부 경계를 구현할 수 있는가?
• RQ2 음성 중심자 생성 과정에 클래스 상관관계를 통합할 경우 소수 샘플 열린집합 인식에서 일반화 능력과 거부 성능가 향상되는가?
• RQ3 제안된 방법이 더 복잡한 일반화된 소수 샘플 열린집합 인식(GFSOR) 설정으로까지 일반화되는 정도는 어느 정도인가?
• RQ4 고정된 임계값 전략에 의존하는 기존 FSOR 방법과 비교해 볼 때 제안된 방법의 성능는 어떠한가?
• RQ5 학습 과정에 음성 클래스 시각화를 통합할 경우 다양한 소수 샘플 작업 간에 더 강력하고 일관된 열린집합 인식이 달성되는가?

주요 결과

• 제안된 방법은 작업 적응형 거부 경계를 학습함으로써 공개 소수 샘플 열린집합 인식 벤치마크에서 최신 기준 성능를 달성한다.
• 클래스 상관관계를 기반으로 음성 중심자를 생성함으로써 다양한 소수 샘플 작업에서 일반화 능력과 알려지지 않은 샘플에 대한 강건성이 향상된다.
• 기존 FSOR 접근 방식에서 주요한 한계로 지적되는 수동 임계값 조정이 필요 없어진다.
• 일반화된 소수 샘플 열린집합 인식(GFSOR) 설정에서는 소수 샘플 및 다수 샘플 클래스 양쪽에서 뛰어난 성능를 유지하면서도 효과적으로 알려지지 않은 샘플을 거부한다.
• 광범위한 아블레이션 연구를 통해 클래스 상관관계를 기반으로 한 음성 중심자 생성이 무작위 또는 비상관 음성 샘플링에 비해 거부 정확도를 크게 향상시킨다는 것이 확인되었다.