[논문 리뷰] Zero-Shot Learning via Category-Specific Visual-Semantic Mapping

Li Niu, Jianfei Cai외 1명|arXiv (Cornell University)|2017. 11. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 영역별 시각-의미 맵핑의 투영 도메인 시프트 문제를 해결하기 위해 적응형 임bedding ZSL (AEZSL)과 딥 AEZSL (DAEZSL)을 제안한다. 본 방법은 미사전 분류와 본래의 분류 간의 의미 유사도를 활용해 맵핑 함수에 가중치를 부여함으로써, 분류별 특화된 시각-의미 맵핑을 학습한다. 이로 인해 일반화 능력이 향상되고, CUB, SUN, Dog, ImageNet 등 소규모 및 대규모 벤치마크에서 최신 기술(SOTA) 성능을 달성한다. 특히 ImageNet에서는 최대 20,345개의 미사전 분류를 지원한다.

ABSTRACT

Zero-Shot Learning (ZSL) aims to classify a test instance from an unseen category based on the training instances from seen categories, in which the gap between seen categories and unseen categories is generally bridged via visual-semantic mapping between the low-level visual feature space and the intermediate semantic space. However, the visual-semantic mapping learnt based on seen categories may not generalize well to unseen categories because the data distributions between seen categories and unseen categories are considerably different, which is known as the projection domain shift problem in ZSL. To address this domain shift issue, we propose a method named Adaptive Embedding ZSL (AEZSL) to learn an adaptive visual-semantic mapping for each unseen category based on the similarities between each unseen category and all the seen categories. Then, we further make two extensions based on our AEZSL method. Firstly, in order to utilize the unlabeled test instances from unseen categories, we extend our AEZSL to a semi-supervised approach named AEZSL with Label Refinement (AEZSL_LR), in which a progressive approach is developed to update the visual classifiers and refine the predicted test labels alternatively based on the similarities among test instances and among unseen categories. Secondly, to avoid learning visual-semantic mapping for each unseen category in the large-scale classification task, we extend our AEZSL to a deep adaptive embedding model named Deep AEZSL (DAEZSL) sharing the similar idea (i.e., visual-semantic mapping should be category-specific and related to the semantic space) with AEZSL, which only needs to be trained once, but can be applied to arbitrary number of unseen categories. Extensive experiments demonstrate that our proposed methods achieve the state-of-the-art results for image classification on four benchmark datasets.

연구 동기 및 목표

• 본 연구는 본래의 분류에서 학습된 시각-의미 맵핑이 미사전 분류로 일반화할 때 성능이 떨어지는, 영역별 투영 도메인 시프트 문제를 해결하기 위한 것이다.
• 라벨이 없는 테스트 데이터를 요구하지 않고도, 미사전 분류에 대해 분류별 특화된 시각-의미 맵핑을 학습하는 방법을 개발하는 것이다.
• 한 번의 학습 단계만으로도 임의의 미사전 분류를 지원할 수 있는 확장 가능한 딥 모델(DAEZSL)을 설계하는 것이다.
• 본래의 분류와 미사전 분류 간의 의미 유사도를 기반으로 맵핑 함수에 가중치를 두어, 제로샷 분류 성능을 향상시키는 것이다.

제안 방법

• 본 방법은 각 미사전 분류에 대해, 해당 분류와 모든 본래 분류 간의 의미 유사도를 계산하여 분류별 특화된 시각-의미 맵핑을 학습한다.
• 의미 표현 벡터를 기반으로, 미사전 분류와 의미적으로 더 가까운 본래 분류의 맵핑 함수에 더 높은 가중치를 할당한다.
• 다층 퍼셉트론(MLP)을 통해 학습된 기능 마스크를 사용하여, 각 미사전 분류에 대해 시각적 특징과 의미 임베딩을 적응적으로 조합한다. 이 마스크는 시그모이드 출력을 가지며, 특징의 적응적 조합을 가능하게 한다.
• 진행적 레이블 정밀화를 통합하여, 분류별 특화 맵핑을 반복적으로 개선함으로써 예측 성능을 향상시킨다.
• 딥 버전인 DAEZSL는 모든 미사전 분류에 대해 단일 학습된 네트워크를 공유하므로, 재학습 없이도 효율적인 추론이 가능하다.
• 모델은 GoogleNet 백본을 사용하며, 1,024차원의 특징 출력을 가지며, 드롭아웃을 적용한 단일 은닉층 MLP와 AdaGrad 최적화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 분류별 특화된 시각-의미 맵핑은 투영 도메인 시프트를 줄임으로써 제로샷 일반화 성능을 향상시킬 수 있는가?
• RQ2 본래 분류와 미사전 분류 간의 의미 유사도는 시각-의미 맵핑 성능에 어떤 영향을 미치는가?
• RQ3 단 한 번의 학습만으로도 적응적이고 분류별 특화된 기능 마스크를 사용해 임의의 미사전 분류를 지원할 수 있는 단일 딥 모델을 설계할 수 있는가?
• RQ4 진행적 레이블 정밀화는 분류별 특화 맵핑을 사용한 제로샷 학습에서 예측 정확도를 향상시키는가?
• RQ5 대규모 벤치마크인 ImageNet에서 제안된 방법은 기존 최신 기술(SOTA) 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• DAEZSL는 ImageNet 2011 21K 데이터셋에서 최신 기술(SOTA) 성능을 달성하였으며, DeVISE, ConSE, EXEM 및 [28]과 같은 베이스라인 방법들보다 27개 테스트 설정 중 25개에서 승리하였다.
• 2-hop 테스트 세트(10,000개의 미사전 분류)에서 DAEZSL는 Flat hit@1 38.7%를 기록하여, 다음으로 우수한 방법보다 4个百分点 이상 높였다.
• 3-hop 테스트 세트(100,000개의 미사전 분류)에서 DAEZSL는 Flat hit@1 32.1%를 달성하여 강력한 확장성을 입증하였다.
• 전체 'all' 테스트 세트(20,345개의 미사전 분류)에서 DAEZSL는 Flat hit@1 31.5%를 유지하여, 다양한 분류 계층에서의 강건성을 보였다.
• 제거 분석 결과, DAEZSL의 분류별 특화 기능 마스크는 공유 맵핑을 사용하는 기존 ESZSL 대비 성능 향상에 기여한다는 것이 확인되었다.
• 모든 평가 지표에서 일관된 성능 향상이 나타났으며, Hierarchical precision@K를 포함하여 의미 계층과 분류 오버랩을 효과적으로 다루는 데 성공했다.