[논문 리뷰] Model Selection for Generalized Zero-shot Learning

Hongguang Zhang, Piotr Koniusz|arXiv (Cornell University)|2018. 11. 08.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 일반화된 제로샷 학습을 위한 새로운 모델 선택 프레임워크인 ModelSel을 제안한다. 이 프레임워크는 GAN으로 생성한 보조 데이터를 활용해 분류를 본래의 클래스와 새로운 클래스로 분리한다. 본래의 데이터와 새로운 클래스에 대한 GAN 생성 데이터를 구분할 수 있도록 선택기(M_sel)를 훈련시키고, 각각에 맞는 전용 분류기를 사용함으로써 클래스 불균형으로 인한 편향을 줄이며, 네 가지 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

In the problem of generalized zero-shot learning, the datapoints from unknown classes are not available during training. The main challenge for generalized zero-shot learning is the unbalanced data distribution which makes it hard for the classifier to distinguish if a given testing sample comes from a seen or unseen class. However, using Generative Adversarial Network (GAN) to generate auxiliary datapoints by the semantic embeddings of unseen classes alleviates the above problem. Current approaches combine the auxiliary datapoints and original training data to train the generalized zero-shot learning model and obtain state-of-the-art results. Inspired by such models, we propose to feed the generated data via a model selection mechanism. Specifically, we leverage two sources of datapoints (observed and auxiliary) to train some classifier to recognize which test datapoints come from seen and which from unseen classes. This way, generalized zero-shot learning can be divided into two disjoint classification tasks, thus reducing the negative influence of the unbalanced data distribution. Our evaluations on four publicly available datasets for generalized zero-shot learning show that our model obtains state-of-the-art results.

연구 동기 및 목표

• 데이터 분포의 기울임으로 인해 분류기가 본래의 클래스를 선호하는 경향이 있는 일반화된 제로샷 학습에서의 클래스 불균형 문제를 해결한다.
• 기존 방법들이 일반화된 제로샷 학습을 하나의 통합된 분류 과제로 간주함으로써 새로운 클래스에 대한 일반화 능력이 떨어지는 한계를 극복한다.
• 생성적 적대적 네트워크(GANs)를 활용해 새로운 클래스에 대한 보조 데이터를 생성함으로써 모델의 강건성과 일반화 능력을 향상시킨다.
• 본래 클래스와 새로운 클래스의 분류를 분리하는 모델 선택 메커니즘을 개발함으로써 더 정확하고 균형 잡힌 예측이 가능하도록 한다.
• 클래스 불균형 문제의 개선과 분류기의 특화를 통해 여러 표준 일반화된 제로샷 학습 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 원본 훈련 데이터(라벨 1로 표시)와 새로운 클래스에 대한 GAN 생성 데이터(라벨 -1로 표시)를 구분할 수 있도록 선형 SVM 분류기(M_sel)를 훈련시켜 데이터 출처를 식별하는 선택기 생성.
• 원본 본래 클래스 데이터에 대해 별도의 분류기 M_s를 훈련하고, GAN 생성된 새로운 클래스 데이터에 대해 M_u를 훈련시켜 각 클래스 유형에 맞는 특화된 학습을 가능하게 한다.
• M_s, M_u 및 병합된 본래 및 새로운 클래스 데이터를 기반으로 훈련된 공동 분류기 M_t를 비교하기 위해 SoftmaxLog 분류기를 사용한다.
• 두 가지 변형을 도입한다: ModelSel-2Way(이진 선택기)와 ModelSel-3Way(삼항 선택기)이며, ModelSel-2Way-SA는 SVM 점수에 시그모이드를 적용해 소프트 할당을 통합한다.
• 분포 불균형 완화를 위해 원본 데이터와 생성된 데이터 양쪽에 대해 평균 및 표준편차를 기반으로 데이터 정규화를 실시한다.
• 모든 모델을 Adam 최적화기를 사용해 훈련하며, 학습률 1e-4, 배치 크기 60, 총 50 에포크를 설정하고, 초모델 파라미터는 교차 검증을 통해 튜닝한다.

실험 결과

연구 질문

• RQ1 본래 클래스와 새로운 클래스 분류를 분리하는 모델 선택 메커니즘이 일반화된 제로샷 학습에서 성능 향상에 기여하는가?
• RQ2 본래 클래스와 새로운 클래스의 분류기를 별도로 훈련시키는 것이 통합 훈련 대비 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 새로운 클래스에 대해 GAN으로 생성한 보조 데이터를 사용할 경우, 일반화된 제로샷 학습에서 클래스 불균형의 부정적 영향을 어느 정도 감소시킬 수 있는가?
• RQ4 SVM 점수에 시그모이드를 적용한 소프트 할당이 모델의 일반화 능력과 정확도 향상에 어떤 영향을 미치는가?
• RQ5 제안된 ModelSel 프레임워크는 f-CLSWGAN 및 ZSKL과 같은 최신 기술 수준의 방법들과 다양한 기준 데이터셋에서 어떻게 비교되는가?

주요 결과

• ModelSel-3Way는 FLO 데이터셋에서 66.4%의 조화 평균 정확도를 기록하며, 이전 최신 기술 수준인 f-CLSWGAN을 0.8%p 뛰어넘었다.
• AWA1에서 ModelSel-3Way는 62.4%의 조화 평균 정확도를 기록하며, f-CLSWGAN 대비 2.8%p 향상되었다.
• AWA2에서 ModelSel-3Way는 63.7%의 조화 평균 정확도를 기록하며, f-CLSWGAN 대비 3.6%p 향상되었다.
• APY에서 ModelSel-2Way-SA는 42.3%의 조화 평균 정확도를 기록하며, ZSKL의 20.5%에서 크게 향상되어 도전적인 분할에서도 뛰어난 성능을 보였다.
• 소프트 할당 변형(Msel-2Way-SA)은 다양한 데이터셋에서 일관된 성능 향상을 보이며, 시그모이드 기반 점수 校정이 일반화 능력을 향상시킨다는 것을 시사한다.
• 모델 선택 메커니즘이 클래스 불균형 문제를 효과적으로 완화하고 있음을 확인할 수 있었으며, 특히 이전에 어려웠던 APY와 같은 기준 데이터셋에서 본래 클래스와 새로운 클래스 양쪽의 성능 향상이 뚜렷하게 관찰되었다.