[논문 리뷰] Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths

Yanan Li, Donghui Wang외 3명|arXiv (Cornell University)|2017. 03. 15.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 이미지 및 의미 공간 양쪽에서 내재된 매니폴드 구조를 활용하여 시각-의미 매핑과 의미 임베딩 공간을 함께 최적화하는 새로운 이중 시각-의미 매핑 경로(DMaP) 프레임워크를 제안한다. 이중 시각-의미 매핑 경로를 통해 이미지 공간과 의미 공간의 매니폴드를 반복적으로 정렬함으로써, 본 방법은 SOTA 성능을 달성한다. 특히, 단지 단어 벡터만을 사용하여 AwA에서 90.49%의 정확도와 ImageNet 2012 1K에서 38.94%의 hit@1 성능을 기록하며, 더 풍부한 속성-단어 벡터 조합을 사용하는 기존 방법들을 능가한다.

ABSTRACT

Zero-shot recognition aims to accurately recognize objects of unseen classes by using a shared visual-semantic mapping between the image feature space and the semantic embedding space. This mapping is learned on training data of seen classes and is expected to have transfer ability to unseen classes. In this paper, we tackle this problem by exploiting the intrinsic relationship between the semantic space manifold and the transfer ability of visual-semantic mapping. We formalize their connection and cast zero-shot recognition as a joint optimization problem. Motivated by this, we propose a novel framework for zero-shot recognition, which contains dual visual-semantic mapping paths. Our analysis shows this framework can not only apply prior semantic knowledge to infer underlying semantic manifold in the image feature space, but also generate optimized semantic embedding space, which can enhance the transfer ability of the visual-semantic mapping to unseen classes. The proposed method is evaluated for zero-shot recognition on four benchmark datasets, achieving outstanding results.

연구 동기 및 목표

• 미래에 등장할 클래스에 대한 학습 이미지가 전혀 존재하지 않는 제로샷 인식의 과제를 해결한다.
• 의미 임베딩 공간의 기하학적 구조가 시각-의미 매핑의 전이성에 미치는 영향을 조사한다.
• 시각-의미 매핑과 의미 임베딩 공간을 함께 최적화하여 제로샷 인식 성능을 향상시킨다.
• 이미지 및 의미 공간 내에서의 클래스 수준의 매니폴드를 활용하여, 미리 보지 않은 클래스로의 일반화 능력을 향상시키는 방법을 개발한다.
• 기존의 인덕티브 또는 트랜스덕티브 ZSR 방법과 통합될 수 있는 일반화 가능한 프레임워크를 제공한다.

제안 방법

• 이중 경로 프레임워크를 제안하며, 두 개의 시각-의미 매핑 경로를 포함한다: 하나는 이미지 공간 $\mathcal{X}_s$ 에서 표준 의미 공간 $\mathcal{K}_s$ 로 향하는 경로이고, 다른 하나는 $\mathcal{X}_s$ 에서 개선된 의미 공간 $\tilde{\mathcal{K}}_s$ 로 향하는 경로이다.
• 학습된 클래스 데이터를 사용하여 $\mathcal{X}_s$ 에서 $\mathcal{K}_s$ 로의 초기 매핑 $f_s$ 를 학습함으로써 기초적인 시각-의미 대응 관계를 확립한다.
• 딥 페처를 사용하여 $\mathcal{X}_s$ 에서의 클래스 수준의 매니폴드를 추출하고, 이를 기반으로 동형 의미 공간 $\tilde{\mathcal{K}}_s$ 를 생성한다.
• 반복적으로 $\mathcal{X}_s$ 와 $\tilde{\mathcal{K}}_s$ 의 매니폴드를 정렬함으로써 매핑 $\tilde{f}_s$ 와 의미 공간 $\tilde{\mathcal{K}}_s$ 를 개선한다.
• 전체 과정을 공동 최적화 문제로 공식화하여, 미래 클래스로의 전이성 향상을 도모한다.
• t-SNE 시각화와 혼동 행렬을 적용하여 반복 과정 중 매니폴드 정렬 동역학과 분류 성능를 분석한다.

실험 결과

연구 질문

• RQ1 의미 임베딩 공간의 내재된 기하학적 구조는 제로샷 인식에서 시각-의미 매핑의 전이성에 어떤 영향을 미치는가?
• RQ2 이미지 특징 공간 내에 존재하는 클래스 수준의 매니폴드를 활용하여 더 효과적인 의미 임베딩 공간을 구성할 수 있는가?
• RQ3 이미지 공간과 의미 공간 간의 매니폴드 정렬이 제로샷 인식 성능에 미치는 영향은 무엇인가?
• RQ4 개선된 의미 공간과 함께 공동 최적화된 간단한 선형 시각-의미 매핑이 SOTA 성능을 달성할 수 있는가?
• RQ5 낮은 품질의 의미 임베딩(예: 단어 벡터)을 사용할 때, 제안된 방법은 더 풍부한 속성-단어 벡터 조합을 사용하는 기존 ZSR 접근법과 비교해 어떻게 성능을 높이는가?

주요 결과

• 제안된 DMaP 프레임워크는 AwA 데이터셋에서 제로샷 인식 정확도 90.49%를 달성하여 이전의 SOTA 방법들을 크게 능가한다.
• 더 도전적인 ImageNet 2012 1K 벤치마크에서 DMaP는 단지 단어 벡터 임베딩만을 사용하여 38.94%의 hit@1 정확도를 기록하며, 복합 속성-단어 벡터 표현을 사용하는 방법들을 초월한다.
• 낮은 품질의 초기 의미 공간(예: 단어 벡터)을 사용하더라도 DMaP는 더 풍부한 속성-단어 벡터 조합을 사용하는 방법들의 성능을 초월하는 성능을 달성한다.
• 반복적인 매니폴드 정렬 과정을 통해, 앙와데르의 분류 정확도가 첫 번째 반복 후 9%에서 89%로 79% 향상되어 의미 공간의 효과적 개선을 입증한다.
• 혼동 행렬 분석 결과, 침팬지와 고릴라와 같이 외관이 유사한 클래스 간의 오분류가 감소함을 확인하였으며, 이는 이미지와 의미 매니폴드 간의 정렬 향상 덕분임을 보여준다.
• 이 프레임워크는 일반화 가능하며, 기존의 인덕티브 ZSR 방법과 유연하게 통합되어 성능 향상을 더욱 높일 수 있다. 이는 열악한 초기 임베딩을 사용하더라도 강력한 성능을 기록함으로써 입증되었다.