[논문 리뷰] Hardness Sampling for Self-Training Based Transductive Zero-Shot Learning
이 논문은 전이적 제로샷 학습(T-ZSL)을 위한 자기학습 프레임워크인 STHS를 제안한다. 이 프레임워크는 예측 빈도와 사전 정규화 빈도를 기반으로 예측이 어려운 다양한 미사전 클래스 샘플을 반복적으로 선택함으로써 성능을 향상시킨다. 제안된 방법은 세 가지 벤치마크에서 최신 기술을 크게 능가하며, 더 엄격한 T-GZSL 평가 설정 하에서 경쟁 가능한 베이스라인을 수립한다.
Transductive zero-shot learning (T-ZSL) which could alleviate the domain shift problem in existing ZSL works, has received much attention recently. However, an open problem in T-ZSL: how to effectively make use of unseen-class samples for training, still remains. Addressing this problem, we first empirically analyze the roles of unseen-class samples with different degrees of hardness in the training process based on the uneven prediction phenomenon found in many ZSL methods, resulting in three observations. Then, we propose two hardness sampling approaches for selecting a subset of diverse and hard samples from a given unseen-class dataset according to these observations. The first one identifies the samples based on the class-level frequency of the model predictions while the second enhances the former by normalizing the class frequency via an approximate class prior estimated by an explored prior estimation algorithm. Finally, we design a new Self-Training framework with Hardness Sampling for T-ZSL, called STHS, where an arbitrary inductive ZSL method could be seamlessly embedded and it is iteratively trained with unseen-class samples selected by the hardness sampling approach. We introduce two typical ZSL methods into the STHS framework and extensive experiments demonstrate that the derived T-ZSL methods outperform many state-of-the-art methods on three public benchmarks. Besides, we note that the unseen-class dataset is separately used for training in some existing transductive generalized ZSL (T-GZSL) methods, which is not strict for a GZSL task. Hence, we suggest a more strict T-GZSL data setting and establish a competitive baseline on this setting by introducing the proposed STHS framework to T-GZSL.
연구 동기 및 목표
- 전이적 제로샷 학습(T-ZSL)에서 미사전 클래스 샘플을 효과적으로 활용할 수 있는 방법을 해결하는 것.
- 분류가 어려운 정도가 다른 미사전 클래스 샘플이 ZSL 모델 성능 향상에 기여하는 방식을 조사하는 것.
- 학습 및 테스트 중에 사전 클래스와 미사전 클래스가 구분되지 않는 더 엄격한 T-GZSL 평가 설정을 위한 보다 엄밀한 데이터 설정을 제안하는 것.
- 어떤 인덕티브 ZSL 방법이라도 경중도 샘플링과 함께 통합할 수 있는 융통성 있는 자기학습 프레임워크 STHS를 설계하는 것.
- 제안된 STHS 프레임워크를 사용하여 새로운 엄격한 평가 프로토콜 하에서 T-GZSL에 대해 경쟁 가능한 베이스라인을 수립하는 것.
제안 방법
- 초기 ZSL 모델이 미사전 클래스 데이터에 대해 예측한 클래스 수준의 빈도를 분석하여 어려운 샘플을 식별한다.
- 진정한 클래스 사전 확률을 근사하기 위한 사전 추정 알고리즘을 도입하고, 이를 사용해 예측 빈도를 정규화함으로써 샘플 선택을 향상시킨다.
- 두 가지 경중도 샘플링 전략을 제안한다: CFBS(Class Frequency-Based Sampling)와 PN-CFBS(Prior-Normalized CFBS)로, 예측 빈도가 낮은 어려운 클래스에서 샘플을 우선순위로 선택한다.
- STHS 프레임워크는 어떤 인덕티브 ZSL 방법이라도 통합하고, 미사전 클래스 집합에서 선택된 어려운 샘플을 반복적으로 사용해 자기학습을 수행한다.
- 학습 시 사전 클래스와 미사전 클래스를 합친 테스트 세트를 사용함으로써 T-GZSL로 일반화한다. 이 경우 모델은 클래스 식별 정보 없이 동시에 두 클래스를 예측해야 한다.
- 일반화된 설정에서 WGAN 기반 모델을 기본 모델로 사용하고, 이를 바탕으로 STHS-GZSL로 명명한다.
실험 결과
연구 질문
- RQ1다양한 미사전 클래스(분류 난이도 측면에서)에서 유도된 샘플이 전이적 학습 중 ZSL 모델 성능 향상에 어떻게 기여하는가?
- RQ2모델 예측의 빈도와 사전 정규화 빈도를 사용해 자기학습을 위한 어려운 다양성 있는 미사전 클래스 샘플을 효과적으로 식별할 수 있는가?
- RQ3자기학습의 성능이 사전 추정의 품질에 의존하는가? 특히 장긴 꼬리 또는 높은 클래스 수가 있는 데이터셋에서 그렇다면?
- RQ4테스트 세트가 사전 클래스와 미사전 클래스로 사전 분리되지 않은 경우 T-ZSL 방법의 성능이 어떻게 저하되는가? 이 엄격한 설정 하에서 견고한 베이스라인을 수립할 수 있는가?
- RQ5제안된 STHS 프레임워크는 T-GZSL로 일반화될 수 있으며, 새로운 평가 프로토콜 하에서 기존 방법보다 뛰어난 성능을 달성할 수 있는가?
주요 결과
- PN-CFBS 샘플링을 사용한 STHS 프레임워크는 엄격한 T-GZSL 설정 하에서 AWA2에서 91.4%의 정확도를 기록했으며, 베이스라인 WGAN(87.5%)과 ST-WGAN-RS(75.1%)를 크게 능가했다.
- AWA2 데이터셋에서 PN-CFBS는 CFBS보다 2.5%p 성능 향상을 보였으며, 이는 장긴 꼬리 설정에서 사전 정규화의 유용성을 입증한다.
- CFBS를 사용한 STHS 프레임워크는 AWA2에서 88.9%의 정확도를 기록했고, WGAN에서는 89.8%를 달성하여 세 벤치마크 전반에서 다수의 최신 기술 방법을 초월했다.
- 엄격한 T-GZSL 설정 하에서 STHS-GZSL는 AWA2에서 85.4%의 정확도를 기록했으며, ST-WGAN-RS(75.1%)를 능가했고, 평가 프로토콜의 난이도가 높아졌음에도 불구하고 강건성을 보였다.
- CUB와 SUN에서 PN-CFBS 성능은 CFBS보다 약간 열등했으며, 이는 클래스 수가 많고 클래스당 샘플 수가 적은 데이터셋에서 사전 추정이 어려운 점을 시사한다.
- 결과는 예측이 어려운 클래스에서 유도된 어려운 샘플이 자기학습에 더 효과적이며, 어려운 클래스의 다양성이 모델 일반화 성능 향상에 기여함을 확인한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.