[논문 리뷰] Using Sentences as Semantic Representations in Large Scale Zero-Shot Learning

Yannick Le Cacheux, Hervé Le Borgne외 1명|arXiv (Cornell University)|2020. 10. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 대규모 제로샷 학습(ZSL)에서 짧은 자연어 문장을 의미론적 프로토타입으로 사용하여 성능을 크게 향상시키는 방법을 제안한다. 학습된 시각적 관련성 가중치를 통해 클래스 이름 임베딩과 결합함으로써, FastText 임베딩과 어텐션 메커니즘을 활용해 문장 내 시각적으로 관련성이 높은 단어를 우선순위화함으로써, ImageNet ZSL에서 기존의 단어 임베딩 또는 특성만을 사용하는 방법보다 우수한 최신 기술 성능(SOTA)을 달성한다. 최종적으로, ImageNet ZSL에서 17.8%의 최상위 1위 정확도를 기록한다.

ABSTRACT

Zero-shot learning aims to recognize instances of unseen classes, for which no visual instance is available during training, by learning multimodal relations between samples from seen classes and corresponding class semantic representations. These class representations usually consist of either attributes, which do not scale well to large datasets, or word embeddings, which lead to poorer performance. A good trade-off could be to employ short sentences in natural language as class descriptions. We explore different solutions to use such short descriptions in a ZSL setting and show that while simple methods cannot achieve very good results with sentences alone, a combination of usual word embeddings and sentences can significantly outperform current state-of-the-art.

연구 동기 및 목표

• 수동으로 정의된 특성나 일반적인 단어 임베딩에 의존하는 전통적인 제로샷 학습(ZSL) 방법의 확장성과 성능 한계를 해결하기 위해.
• 짧고 자연어적인 문장이 대규모 ZSL에서 미리보지 않은 클래스에 대해 효과적이고 확장 가능한 의미론적 표현으로 기능할 수 있는지 탐색하기 위해.
• 문장 기반 기술 설명과 클래스 이름 임베딩을 결합하여 의미론적 프로토타입의 품질을 향상시키는 경량이며 계산 효율적인 방법을 개발하기 위해.
• ZSL 및 관련 작업에서 사용할 수 있도록 고품질의 사전 훈련된 문장 기반 프로토타입을 공개하기 위해.

제안 방법

• 의미론적 프로토타입을 의미 공간에서 시각적 특징 공간으로 투영하기 위해 선형 리지 회귀 모델(Linear S→V)을 사용하며, 시각적 특징과 의미론적 특징을 정렬하기 위해 변환 행렬 Θ를 학습한다.
• 클래스 이름과 짧은 기술적 문장(예: '큰 검은색 부리가 긴 새')을 결합하여 의미론적 프로토타입을 구성하며, 단어 표현으로 FastText 임베딩을 사용한다.
• 문장 내 각 단어에 대해 시각적 관련성 점수를 계산한다. 이는 해당 단어와 관련된 이미지의 평균 시각적 특징과의 평균 거리의 역수로 정의되며, 의미론적 및 시각적으로 관련된 용어를 식별한다.
• 어텐션 메커니즘을 문장 임베딩에 적용하며, 높은 시각적 관련성 점수를 가진 단어에 대해 학습된 가중치를 부여함으로써 의미론적 공간과 시각적 공간 간의 정렬을 향상시킨다.
• 최종 프로토타입은 클래스 이름 임베딩과 문장 임베딩의 가중 조합으로 구성되며, 교차 검증을 통해 최적의 70% 문장 및 30% 클래스 이름 비율을 도출하였다.
• ESZSL, ConSE, DeViSE 등의 다양한 ZSL 모델에서 평가하여, 제안된 문장 강화 프로토타입을 사용할 경우 일관된 성능 향상을 입증하였다.

실험 결과

연구 질문

• RQ1 짧고 자연어적인 문장은 대규모 제로샷 학습에서 효과적이고 확장 가능한 의미론적 표현으로 기능할 수 있는가?
• RQ2 클래스 이름 임베딩과 문장 기반 기술 설명을 결합할 경우, 단어 임베딩나 특성만을 사용하는 것과 비교해 ZSL 성능에 어떤 영향을 미치는가?
• RQ3 문장의 내용을 의미론적 프로토타입에 통합할 때 가장 최적의 방법은 무엇인가? 특히, 문장 내에서 어떤 단어가 시각적 특징을 가장 잘 예측하는가?
• RQ4 시각적 관련성 가중 어텐션을 사용할 경우 의미론적 공간과 시각적 공간 간의 정렬이 향상되는가?
• RQ5 제안된 방법은 미세조정이나 복잡한 아키텍처 없이도 대규모 벤치마크인 ImageNet에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 Linear S→V 모델을 사용하여 ImageNet ZSL에서 17.8%의 최상위 1위 정확도를 기록하며, 이는 이전 최신 기술 성능을 크게 초월한다.
• 클래스 이름과 문장 임베딩을 시각적 관련성 가중 어텐션과 함께 조합한 조합(Classname+Def visualness+Parent)이 가장 뛰어난 성능을 보이며, 70% 문장 및 30% 클래스 이름 비율이 최적의 트레이드오프임을 확인하였다.
• FastText 임베딩은 제안된 프레임워크에서 GloVe나 ELMo와 같은 다른 단어 임베딩 방법보다 일관되게 뛰어난 성능을 보였다.
• ELMo 임베딩는 맥락 기반 모델링을 하지만, 시각적 관련성 점수와 함께 사용될 경우 성능이 떨어지며, 이는 ZSL에서 맥락 기반 단어 표현이 최적의 성능을 내기 어려울 수 있음을 시사한다.
• 제안된 문장 기반 프로토타입을 사용할 경우 다양한 ZSL 모델에서 일관된 향상이 관찰되었으며, 최상위 1위, 5위, 10위 정확도 모두에서 성능 향상이 있었다.
• 저자들은 사전 훈련된 문장 기반 프로토타입과 코드를 공개하여 향후 ZSL 및 다중 모odal 학습 연구에서 즉각적인 활용과 재현 가능성을 보장하였다.