[논문 리뷰] Visual Space Optimization for Zero-shot Learning

Xinsheng Wang, Shanmin Pang외 4명|arXiv (Cornell University)|2019. 06. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 7

한 줄 요약

이 논문은 가시적 특징 공간의 최적화를 위해 학습 가능한 시각적 프로토타입 방법과 다층 퍼셉트론 기반 프레임워크를 도입하여 시각적 특징 구조를 향상시킨다. 프로토타입 기반 방법은 클래스 중심을 차별화 가능한 학습 가능한 프로토타입으로 대체하여 GZSL에서 최신 기준 성능을 달성하며, 기존 방법에 비해 일반화 능력이 크게 향상된다.

ABSTRACT

Zero-shot learning, which aims to recognize new categories that are not included in the training set, has gained popularity owing to its potential ability in the real-word applications. Zero-shot learning models rely on learning an embedding space, where both semantic descriptions of classes and visual features of instances can be embedded for nearest neighbor search. Recently, most of the existing works consider the visual space formulated by deep visual features as an ideal choice of the embedding space. However, the discrete distribution of instances in the visual space makes the data structure unremarkable. We argue that optimizing the visual space is crucial as it allows semantic vectors to be embedded into the visual space more effectively. In this work, we propose two strategies to accomplish this purpose. One is the visual prototype based method, which learns a visual prototype for each visual class, so that, in the visual space, a class can be represented by a prototype feature instead of a series of discrete visual features. The other is to optimize the visual feature structure in an intermediate embedding space, and in this method we successfully devise a multilayer perceptron framework based algorithm that is able to learn the common intermediate embedding space and meanwhile to make the visual data structure more distinctive. Through extensive experimental evaluation on four benchmark datasets, we demonstrate that optimizing visual space is beneficial for zero-shot learning. Besides, the proposed prototype based method achieves the new state-of-the-art performance.

연구 동기 및 목표

• 시각적 특징 공간 내에서의 낮은 클래스 내 및 클래스 간 분류 성능 문제를 해결함으로써 효과적인 제로샷 러닝을 가능하게 한다.
• 임베딩 공간에서 클래스 표현의 대리자로 사용되는 이산적이고 비차별적인 시각적 특징 중심점의 한계를 극복한다.
• 시각적 공간의 구조 최적화와 프로토타입의 표현력 향상을 통해 제로샷 러닝 모델의 일반화 능력을 향상시킨다.
• 중간 임베딩 공간을 공동으로 학습하고 전용 손실을 통해 더 나은 시각적 데이터 구조를 강제하는 유연한 프레임워크를 개발한다.

제안 방법

• 교차 엔트로피 손실을 사용하여 각 시각적 클래스당 하나의 분류 능력이 뛰어난 프로토타입을 학습하는 시각적 프로토타입 기반 방법을 제안하며, 평균 시각적 특징 중심점을 대체한다.
• 시각적 특징과 의미 벡터를 모두 공통의 중간 임베딩 공간으로 매핑하는 다층 퍼셉트론(MLP) 프레임워크를 도입한다.
• 임베딩 공간 내에서 시각적 특징의 내재된 데이터 구조를 향상시키는 구조 최적화 손실을 설계하여 더 나은 군집화와 분리 성능을 촉진한다.
• 일치하는 의미-시각 쌍은 가까이, 불일치하는 쌍은 멀리 있도록 보장하기 위해 순서 정렬 손실(단순 또는 이중 방향)을 구조 최적화 손실과 조합한다.
• 의미와 시각 임베딩 간의 유사도 학습을 향상시켜 공동 공간 내에서의 분류 능력을 강화하기 위해 이중 방향 순서 정렬 손실을 사용한다.
• 교차 엔트로피 손실, 순서 정렬 손실, 구조 최적화 손실의 조합을 사용하여 모델을 엔드 투 엔드로 훈련함으로써 프로토타입 학습과 특징 공간 기하학을 공동으로 최적화한다.

실험 결과

연구 질문

• RQ1 각 클래스당 분류 능력이 뛰어난 시각적 프로토타입을 학습시키는 것이 평균 시각적 특징 중심점 사용에 비해 제로샷 일반화 성능을 향상시키는가?
• RQ2 중간 임베딩 공간에서 시각적 특징의 내재된 구조를 최적화하면 제로샷 러닝 성능 향상에 기여하는가?
• RQ3 제안된 구조 최적화 손실은 시각적 특징 군집화 및 분류 능력을 향상시키는 데 있어 표준 순서 정렬 손실과 비교해 어떤가?
• RQ4 이중 방향 순서 정렬 손실과 단순 순서 정렬 손실 간의 상대적 기여도는 임베딩 공간 품질 향상에 어떻게 기여하는가?
• RQ5 제안된 시각적 프로토타입 방법은 ZSL 및 일반화된 ZSL 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 시각적 프로토타입 기반 방법은 ZSL 및 일반화된 ZSL(GZSL) 벤치마크에서 모두 최신 기준 성능을 달성하며, AwA1 및 AwA2에서 모든 이전 방법보다 뛰어난 성능을 보였다.
• AwA1 및 AwA2 데이터셋에서 시각적 프로토타입 기반 방법(VPB)은 시각적 중심점 기반 방법(VCB)보다 뚜렷이 뛰어나, 학습 가능한 프로토타입이 평균 중심점보다 우수함을 입증했다.
• 구조 최적화 방법은 특히 ZSL 작업에서 뛰어난 성능을 보였으며, 향상된 시각적 데이터 구조가 인식 정확도 향상에 기여함을 보였다.
• 이중 방향 순서 정렬 손실은 단순 순서 정렬 손실 대비 약간이지만 뚜렷한 성능 향상을 보였으며, 더 현실적인 GZSL 설정에서 특히 두드러졌다. 이는 의미와 시각 임베딩 간의 정렬이 향상되었음을 시사한다.
• 구조 최적화 손실을 단순 또는 이중 방향 순서 정렬 손실과 조합할 경우 뛰어난 성능을 달성하였으며, 이는 시각적 특징의 기하학적 구조가 ZSL 성공의 핵심 요소임을 확인한다.
• AwA1, AwA2, CUB, SUN의 네 가지 기준 데이터셋에서 수행된 광범위한 실험을 통해 제안된 방법의 효과성과 일반화 능력을 검증하였다.