[논문 리뷰] Zero and Few Shot Learning with Semantic Feature Synthesis and Competitive Learning

Zhiwu Lu, Jiechao Guan외 4명|arXiv (Cornell University)|2018. 10. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 5

한 줄 요약

이 논문은 프로토타입 기반 변형과 경쟁적 이중방향 투영 학습(BPL)을 통한 의미적 특징 합성 방식을 이용해 제로샷 및 패스트샷 학습을 위한 통합 프레임워크를 제안한다. 각 클래스의 프로토타입에서 유사한 미존재 클래스 특징을 생성하고, 각 샘플에 대해 가장 가능성 있는 두 클래스를 고려하는 강력하고 경쟁적인 투영 모델을 학습시킴으로써, 대규모 및 소규모 벤치마크에서 모두 최신 기술 수준(SOTA)의 성능을 달성하며, 제로샷 및 패스트샷 인식 과제에서 이전 방법들을 능가한다.

ABSTRACT

Zero-shot learning (ZSL) is made possible by learning a projection function between a feature space and a semantic space (e.g.,~an attribute space). Key to ZSL is thus to learn a projection that is robust against the often large domain gap between the seen and unseen class domains. In this work, this is achieved by unseen class data synthesis and robust projection function learning. Specifically, a novel semantic data synthesis strategy is proposed, by which semantic class prototypes (e.g., attribute vectors) are used to simply perturb seen class data for generating unseen class ones. As in any data synthesis/hallucination approach, there are ambiguities and uncertainties on how well the synthesised data can capture the targeted unseen class data distribution. To cope with this, the second contribution of this work is a novel projection learning model termed competitive bidirectional projection learning (BPL) designed to best utilise the ambiguous synthesised data. Specifically, we assume that each synthesised data point can belong to any unseen class; and the most likely two class candidates are exploited to learn a robust projection function in a competitive fashion. As a third contribution, we show that the proposed ZSL model can be easily extended to few-shot learning (FSL) by again exploiting semantic (class prototype guided) feature synthesis and competitive BPL. Extensive experiments show that our model achieves the state-of-the-art results on both problems.

연구 동기 및 목표

• 실제로 존재하지 않는 미존재 클래스 샘플이 없을 때 정확한 인식을 방해하는 제로샷 학습(ZSL)에서의 본질적 차이(도메인 갭)를 해결하기 위해.
• 본문 클래스 특징의 단순한 변형을 통해 의미 프로토타입(예: 속성 벡터)을 이용해 미존재 클래스 데이터를 합성함으로써 ZSL에서의 강건성을 향상시키기 위해.
• 각 샘플에 대해 가장 가능성 있는 두 개의 미존재 클래스 후보를 고려함으로써 합성된 데이터의 불확실성을 다루는 경쟁 기반 투영 모델을 개발하기 위해.
• 동일한 의미적 합성 및 경쟁적 투영 메커니즘을 사용하여 제안된 ZSL 프레임워크를 패스트샷 학습(FSL)으로 확장하기 위해.
• 특히 저샷 환경에서 대규모 및 소규모 설정 모두에서 제로샷 및 패스트샷 학습에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 기존 생성 모델이 필요 없는, 본문 클래스 특징을 미존재 클래스 프로토타입(예: 속성 벡터)을 사용해 변형함으로써 합성된 미존재 클래스 특징를 생성하는 새로운 의미적 특징 합성 전략을 제안한다.
• 각 합성 샘플이 두 개의 가장 가능성 있는 미존재 클래스로 경쟁적으로 투영되는 경쟁적 이중방향 투영 학습(BPL) 모델을 도입하여 강건성을 향상시킨다.
• BPL 모델은 최소-최소/최대-최소 최적화 형식을 사용하며, 경쟁 제약 조건 하에 시각적 특징에서 의미적 특징, 의미적 특징에서 시각적 특징으로의 투영을 동시에 학습한다.
• 최적화는 경사 하강법과 경사 상승법을 조합한 반복적 알고리즘을 사용하며, 이론적 수렴 보장을 갖는다.
• 소규모 지원 샘플 세트에 동일한 의미적 합성 및 경쟁적 BPL을 적용하여 프레임워크를 패스트샷 학습으로 확장한다.
• 시각적 특징은 사전 학습된 CNN(예: Simple, WRN)을 사용해 추출하며, ImageNet 및 mini-ImageNet에서 표준 ZSL 및 FSL 프로토콜에 따라 평가된다.

실험 결과

연구 질문

• RQ1 의미 프로토타입 기반 변형 방식이 제로샷 학습에서 현실적인 미존재 클래스 특징를 효과적으로 합성할 수 있는가?
• RQ2 경쟁적 이중방향 투영 학습이 합성된 데이터의 도메인 이동 및 불확실성에 대해 강건성을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 제한된 지원 샘플이 있는 패스트샷 학습으로도 효과적으로 일반화되는가?
• RQ4 대규모 및 소규모 벤치마크에서 최신 기술 수준의 방법들과 비교해 성능가 어떻게 되는가?
• RQ5 경쟁 학습 메커니즘이 ZSL 및 FSL에서 표준 최근접 이웃 또는 단일 클래스 투영 방식을 능가하는가?

주요 결과

• 대규모 ImageNet ZSL 벤치마크에서 제안된 방법은 제로샷 및 패스트샷 설정 모두에서 최신 기술 수준의 성능을 달성하며, 이전의 SOTA 방법들을 능가한다.
• 소규모 mini-ImageNet FSL 벤치마크에서, Wide ResNet(WRN) 특징 추출기를 사용해 5-way 5-shot 정확도 75.62%를 기록하며 이전의 SOTA인 73.74%를 초월한다.
• WRN 기반으로 mini-ImageNet에서 5-way 1-shot 정확도 58.53%를 달성하였으며, 동일한 백본을 사용한 PPA의 이전 최고 성능 59.60%를 능가한다.
• 경쟁적 BPL 모델은 특히 저샷 환경에서 기준 최근접 이웃 및 표준 투영 방법 대비 성능 향상이著명하다.
• 더 강력한 시각적 특징 추출기(예: WRN)는 상당히 향상된 결과를 얻으며, 이는 프레임워크에서 고품질 특징의 중요성을 확인한다.
• 절단 분석 결과, 경쟁 학습 메커니즘이 필수적임을 입증하며, 이를 제거할 경우 성능 저하가 발생함으로써 합성된 데이터의 불확실성을 다루는 데서의 역할을 검증한다.