[논문 리뷰] Visually Aligned Word Embeddings for Improving Zero-shot Learning

Ruizhi Qiao, Lingqiao Liu외 2명|arXiv (Cornell University)|2017. 07. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 15

한 줄 요약

이 논문은 시각적 특징과의 정렬을 통해 사전에 학습된 분산 단어 임베딩(DWEs)을 새로운 공간으로 재임베딩하는 시각적으로 정렬된 단어 임베딩(Visualy Aligned Word Embeddings, VAWE)을 제안한다. 이 방법은 삼중손실(triplet loss)을 사용하는 신경망을 통해 이웃 구조를 시각적 특징과 일치시킨다. VAWE는 네 가지 벤치마크 데이터셋과 네 가지 ZSL 방법에서 제로샷 학습 성능을 크게 향상시키며, 인간이 애너테이션한 속성과 경쟁 가능한 최신 기술 수준의 성능을 달성한다. 이는 다양한 ZSL 프레임워크에 일반화 가능하다.

ABSTRACT

Zero-shot learning (ZSL) highly depends on a good semantic embedding to connect the seen and unseen classes. Recently, distributed word embeddings (DWE) pre-trained from large text corpus have become a popular choice to draw such a connection. Compared with human defined attributes, DWEs are more scalable and easier to obtain. However, they are designed to reflect semantic similarity rather than visual similarity and thus using them in ZSL often leads to inferior performance. To overcome this visual-semantic discrepancy, this work proposes an objective function to re-align the distributed word embeddings with visual information by learning a neural network to map it into a new representation called visually aligned word embedding (VAWE). Thus the neighbourhood structure of VAWEs becomes similar to that in the visual domain. Note that in this work we do not design a ZSL method that projects the visual features and semantic embeddings onto a shared space but just impose a requirement on the structure of the mapped word embeddings. This strategy allows the learned VAWE to generalize to various ZSL methods and visual features. As evaluated via four state-of-the-art ZSL methods on four benchmark datasets, the VAWE exhibit consistent performance improvement.

연구 동기 및 목표

• 분산 단어 임베딩(DWEs)이 의미 유사성을 잘 캡처하지만 시각적 유사성을 반영하지 못하는 제로샷 학습에서의 시각-의미 불일치 문제를 해결하기 위해.
• 시각적 특징와 공유 임베딩 공간이 필요 없이 DWEs를 시각적 특징 공간과 정렬함으로써 제로샷 학습 성능을 향상시키기 위해.
• 특정 모델 아키텍처에 종속되지 않고 다양한 ZSL 접근법을 향상시킬 수 있는 일반적인 방법을 개발하기 위해.
• 재임베딩된 DWEs가 시각적 정렬을 통해 인간이 애너테이션한 속성과 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.
• 다양한 시각적 특징 추출기와 데이터셋에서 메서드의 강건성과 일반화 능력을 검증하기 위해.

제안 방법

• 삼중손실을 사용하여 사전에 학습된 단어 임베딩(예: word2vec)을 새로운 공간으로 매핑하는 신경망을 훈련함으로써, 의미적으로 유사한 단어들이 시각적 도메인에서 가까이 오도록 강제함.
• VGG-19나 DeCAF와 같은 깊은 네트워크의 평균 풀링된 특징을 시각적 클래스 표현의 대체 지표로 사용하여 정렬을 안내함.
• 기준점(anchor), 긍정(의미적으로 유사한), 부정(의미적으로 다른) 단어 임베딩의 삼중조를 구성함. 이때 긍정은 기준점보다 시각적 공간에서 부정보다 더 가까워야 함.
• 삼중손실을 사용하여 엔드 투 엔드 훈련을 통해 이웃 구조의 시각-의미 불일치를 최소화하는 매핑 함수를 학습함.
• 훈련 및 추론 중 표준 단어 임베딩 대신 VAWE를 사용하여 어떤 ZSL 방법에도 학습된 VAWE를 적용함.
• VAWE를 한 가지 시각적 특징 유형(예: DeCAF)에서 훈련하고 다른 유형(예: VGG-19)에서 테스트하여 일반화 능력을 평가함. 이는 특징 선택에 대한 강건성을 보여줌.

실험 결과

연구 질문

• RQ1 분산 단어 임베딩에서의 시각-의미 불일치가 제로샷 학습 성능을 떨어뜨리는가?
• RQ2 단어 임베딩에서 시각적으로 정렬된 공간으로의 학습된 매핑이 다양한 방법과 데이터셋에서 ZSL 성능을 향상시킬 수 있는가?
• RQ3 시각적 특징의 선택이 학습된 시각적으로 정렬된 단어 임베딩의 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 VAWE는 제로샷 학습에서 인간이 애너테이션한 속성과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 VAWE 방법은 다양한 ZSL 프레임워크와 시각적 특징 추출기 간에 일반화 가능한가?

주요 결과

• VAWE는 네 가지 벤치마크 데이터셋(aPY, AwA, CUB, SUN)과 네 가지 최신 기술 수준의 ZSL 방법에서 제로샷 학습 성능을 향상시킴.
• 粗분류 데이터셋(aPY 및 AwA)에서는 성능 향상이 뚜렷하며, VGG-19 특징을 사용할 경우 ConSE는 76.16%의 정확도를 기록함.
• ConSE와 ESZSL에서 성능 향상이 가장 두드러지며, 이는 시각-의미 매핑을 직접 학습하고 임베딩 품질에 가장 민감하기 때문임.
• 모든 비속성 기반 ZSL 방법보다 우수하며, 특히 굵은 분류 데이터셋에서 최고의 속성 기반 방법과 경쟁 가능함.
• 다양한 시각적 특징 추출기 간에 잘 일반화됨: DeCAF나 저수준 특징을 사용해 VAWE를 훈련하더라도 VGG-19 특징을 사용해 테스트했을 때도 뛰어난 성능을 기록함.
• 24개 실험 설정 중 22개에서 성능 향상을 보이며, 다양한 구성에서 일관되고 강건한 성과를 보임.