[논문 리뷰] VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning

Wenjia Xu, Yongqin Xian외 3명|arXiv (Cornell University)|2022. 03. 20.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 인간의 속성 레이블이 없이도 시각적 유사도 기반으로 국소 이미지 패치를 군집화함으로써 분류 가능하고 인간이 이해할 수 있는 의미적 임베딩을 발견하는 자기지도 학습 방법인 시각 기반 의미 임베딩(VGSE)을 제안한다. 이 방법은 AWA2에서 66.7%의 ZSL 정확도를 기록하며 단어 임베딩과 인간이 레이블링한 속성보다도 뛰어난 성능을 보이며, 학습된 시각 군집과 클래스 간 관계 모델링을 통해 뛰어난 제로샷 일반화 성능을 달성한다.

ABSTRACT

Human-annotated attributes serve as powerful semantic embeddings in zero-shot learning. However, their annotation process is labor-intensive and needs expert supervision. Current unsupervised semantic embeddings, i.e., word embeddings, enable knowledge transfer between classes. However, word embeddings do not always reflect visual similarities and result in inferior zero-shot performance. We propose to discover semantic embeddings containing discriminative visual properties for zero-shot learning, without requiring any human annotation. Our model visually divides a set of images from seen classes into clusters of local image regions according to their visual similarity, and further imposes their class discrimination and semantic relatedness. To associate these clusters with previously unseen classes, we use external knowledge, e.g., word embeddings and propose a novel class relation discovery module. Through quantitative and qualitative evaluation, we demonstrate that our model discovers semantic embeddings that model the visual properties of both seen and unseen classes. Furthermore, we demonstrate on three benchmarks that our visually-grounded semantic embeddings further improve performance over word embeddings across various ZSL models by a large margin.

연구 동기 및 목표

• 제로샷 학습에서 인간이 레이블링한 속성의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 인간의 감독 없이도 분류 가능한 시각적 특성을 포착하는 의미 임베딩을 발견하기 위해.
• 보이는 클래스와 보이지 않는 클래스 간에 공유되는 시각 군집을 학습함으로써 제로샷 일반화 성능을 향상시키기 위해.
• 외부 지식과 시각 군집을 활용하여 보이는 클래스와 보이지 않는 클래스 간의 의미 관계를 모델링하기 위해.
• 지식 전이를 향상시키기 위해 시각적으로 기반을 두고 의미적으로도 유의미한 임베딩을 생성하기 위해.

제안 방법

• 패치 군집화(PC) 모듈은 보이는 클래스의 국소 이미지 패치에서 시각적 유사도 기반으로 시각 군집을 학습한다.
• 학습된 군집 내에서 클래스 간의 분류 능력과 의미적 유사성을 강화함으로써 특징 품질을 향상시킨다.
• 클래스 관계(CR) 모듈은 외부 지식(예: 단어 임베딩)과 학습된 클래스 관계를 사용하여 보이지 않는 클래스의 임베딩을 예측한다.
• t-SNE 시각화를 통해 군집의 구조와 카테고리 간 의미 일관성을 분석한다.
• 사용자 연구를 통해 k-means 기반 모델 대비 발견된 군집의 시각적 일관성과 의미 일관성을 평가한다.
• 프레임워크는 보이는 클래스의 레이블만을 사용하여 엔드 투 엔드로 훈련되며, 속성 레이블링은 전혀 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 이미지 패치의 시각 군집화가 제로샷 학습에서 보이지 않는 클래스로 일반화되는 의미 임베딩을 발견할 수 있는가?
• RQ2 학습된 시각 군집이 인간이 레이블링한 속성에서 포착되지 않는 일관된 시각적 및 의미적 특성을 포함하는가?
• RQ3 시각적으로 기반을 두고 의미적으로도 유의미한 임베딩이 비지도 학습된 단어 임베딩과 인간이 레이블링한 속성보다 제로샷 분류에서 뛰어난 성능을 보일 수 있는가?
• RQ4 발견된 임베딩이 ZSL 및 GZSL 설정 모두에서 클래스 간 지식 전이에 얼마나 잘 작용하는가?
• RQ5 학습된 군집이 인간 관찰자에게 해석 가능하고 의미적으로도 의미 있는가?

주요 결과

• VGSE는 AWA2에서 66.7%의 ZSL 정확도를 기록하여 인간이 레이블링한 속성(62.8%)을 초월하고, 다섯 개의 최신 모델에서 단어 임베딩보다도 뛰어난 성능을 보였다.
• 모든 세 가지 벤치마크(AWA2, CUB, SUN)에서 단어 임베딩 대비 성능 향상 폭이 크게 향상되었다.
• 사용자 평가에서 88.5%의 사용자가 VGSE 군집이 일관된 시각적 특성을 지닌 것으로 평가했으며, k-means 기준 71.5%보다 높게 확인되어 뛰어난 시각 일관성 확인.
• 87.0%의 사용자가 VGSE 군집이 일관된 의미 정보를 전달한다고 평가했으며, k-means 기준 71.0%보다 높아 의미 기반 시각화의 우수성 확인.
• 군집은 인간이 레이블링하지 않는 세부적인 시각적 특성인 털 무늬, 뿔, 케이지 등과 같은 특징을 발견하였다.
• 정성적 분석 결과, 군집은 흰 털이나 무늬 무늬 같은 공통된 시각적 특성을 기반으로 여러 카테고리의 이미지를 묶으며, 보이는 클래스와 보이지 않는 클래스 간에도 이를 수행함을 확인하였다.