[논문 리뷰] Learning a Deep Embedding Model for Zero-Shot Learning

Li Zhang, Tao Xiang외 1명|arXiv (Cornell University)|2016. 11. 15.

Multimodal Machine Learning Applications참고 문헌 53인용 수 16

한 줄 요약

이 논문은 허브니스 문제를 완화하고 최근접 이웃 검색 성능을 향상시키기 위해 의미적 또는 중간 공간 대신 CNN 특징 공간을 임bedding 공간으로 사용하는 딥 임베딩 모델을 제안한다. 의미적 기술(예: 특성, 문장)을 직접 시각적 특징으로 매핑하는 엔드 투 엔드 딥 네트워크를 훈련시킴으로써, ILSVRC 2012/2010에서 25.7%의 hit@5 정확도를 달성하여 이전의 최고 성능 모델들을 크게 능가한다.

ABSTRACT

Zero-shot learning (ZSL) models rely on learning a joint embedding space where both textual/semantic description of object classes and visual representation of object images can be projected to for nearest neighbour search. Despite the success of deep neural networks that learn an end-to-end model between text and images in other vision problems such as image captioning, very few deep ZSL model exists and they show little advantage over ZSL models that utilise deep feature representations but do not learn an end-to-end embedding. In this paper we argue that the key to make deep ZSL models succeed is to choose the right embedding space. Instead of embedding into a semantic space or an intermediate space, we propose to use the visual space as the embedding space. This is because that in this space, the subsequent nearest neighbour search would suffer much less from the hubness problem and thus become more effective. This model design also provides a natural mechanism for multiple semantic modalities (e.g., attributes and sentence descriptions) to be fused and optimised jointly in an end-to-end manner. Extensive experiments on four benchmarks show that our model significantly outperforms the existing models. Code is available at https://github.com/lzrobots/DeepEmbeddingModel_ZSL

연구 동기 및 목표

• 기존 엔드 투 엔드 딥 ZSL 모델들이 이론적 이점이 있음에도 불구하고 비딥 기반 모델을 능가하지 못하는 낮은 성능을 해결하기 위해.
• 임베딩 공간의 선택—특히 시각적 공간 대비 의미적 또는 중간 공간—이 ZSL 성능에 미치는 영향이 상당한지 조사하기 위해.
• 다양한 의미적 모odalities(예: 특성과 문장)를 통합된 임베딩 공간에서 동시에 최적화할 수 있는 유연한 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 데이터 분산을 유지하는 CNN 특징 공간을 임베딩 공간으로 선택함으로써 최근접 이웃 검색에서의 허브니스 문제를 감소시키기 위해.

제안 방법

• 모델은 사전 훈련된 CNN의 출력 특징 공간을 직접 임베딩 공간으로 사용하여 의미 표현(예: 특성 또는 문장 임베딩)을 시각적 특징으로 매핑하는 딥 네트워크를 사용한다.
• 프로젝션된 의미 벡터와 해당 시각적 특징 간의 거리를 최소화하기 위해 최소 제곱 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 다중 모odal리티 융합 메커니즘을 네트워크에 통합하여 의미 입력(예: 특성 및 문장 기술)을 하나의 임베딩 공간에서 동시에 최적화한다.
• 모델은 이중 브랜치 아키텍처를 사용한다: 하나의 브랜치는 의미 입력(예: RNN 또는 word2vec를 통해)을 처리하고, 다른 브랜치는 시각적 특징을 처리하며, 그 출력은 완전 연결층을 통해 시각적 공간으로 투영된다.
• 프레임워크는 특성 기반 및 문장 기반 의미 입력을 모두 지원하여 다양한 ZSL 설정에 대한 민첩한 적응을 가능하게 한다.
• 이론적 및 실증적 분석을 통해 시각적 공간을 임베딩 공간으로 사용할 경우, 시각적 특징의 분산을 유지하고 고차원 의미 공간으로의 투영으로 인한 수축을 방지함으로써 허브니스 문제가 감소함을 확인하였다.

실험 결과

연구 질문

• RQ1 의미적 또는 중간 공간 대비 CNN 시각적 특징 공간을 임베딩 공간으로 사용할 경우, 허브니스 문제가 상당히 감소하는가?
• RQ2 의미 기술을 직접 시각적 특징으로 매핑하는 엔드 투 엔드 딥 러닝 모델이 비딥 또는 비엔드 투 엔드 ZSL 모델을 능가할 수 있는가?
• RQ3 임베딩 공간의 선택이 다양한 벤치마크에서 제로샷 분류 성능에 미치는 영향은 어떠한가?
• RQ4 제안된 모델이 의미적 모달리티(예: 특성 및 문장 기술)를 하나의 통합 최적화된 임베딩 공간에서 효과적으로 융합할 수 있는가?
• RQ5 시각적 공간을 임베딩 공간으로 사용할 경우의 성능 향상 효과가 다양한 손실 함수 및 데이터셋에 걸쳐 강인한가?

주요 결과

• 제안된 모델은 전통적인 설정 하에서 ILSVRC 2012/2010 벤치마크에서 25.7%의 hit@5 정확도를 달성하여 이전의 최고 성능 모델인 ConSE(15.5%)를 크게 능가한다.
• AwA 데이터셋에서 모델은 11.0%의 hit@1 및 25.7%의 hit@5 성능을 기록하여 DeViSE(5.2% 및 12.8%)와 SS-Voc(9.5% 및 16.8%)를 포함한 모든 이전 방법들을 초월한다.
• 임베딩 공간을 시각적 공간에서 의미 공간으로 변경할 경우, AwA에서 성능이 26.1% 감소함을 확인하여 임베딩 공간 선택의 결정적 중요성을 입증한다.
• 시각적 특징 공간을 사용할 경우 허브니스 문제가 상당히 감소한다: N1 비대칭도 점수는 시각적 공간에서 -0.4834, 의미 공간에서 0.4162로, 허브 형성이 줄어듦을 나타낸다.
• 단순한 선형 릿지 회귀 모델이 시각적 공간을 임베딩 공간으로 사용할 경우 AwA에서 74.8%의 정확도를 달성하며, 의미 공간에서의 딥 모델보다도 뛰어난 성능을 보여, 시각적 공간의 우수성을 확인한다.
• 시각적 공간을 임베딩 공간으로 사용할 경우 최소 제곱 손실 함수가 우수한 성능을 내며, 허프 손실 함수는 이 구성에서 성능이 열 劣하다.