[논문 리뷰] Latent Embeddings for Zero-shot Classification

Yongqin Xian, Zeynep Akata외 4명|arXiv (Cornell University)|2016. 03. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 65

한 줄 요약

이 논문은 잠재 변수를 사용하여 다수의 학습된 이차형 맵 중에서 선택함으로써 다양한 시각적 특징을 모델링함으로써 성능을 향상시키는 새로운 조합 모델인 잠재 임bedding(LatEm)을 제안한다. 이는 제로샷 이미지 분류를 위한 조각별 선형 호환성 모델이다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 비지도 임베딩을 사용할 경우 AWA에서 66.2%의 정확도와 CUB에서 34.9%의 정확도를 기록한다. 또한 학습된 객체 속성 클러스터를 통해 일반화 능력과 해석 가능성을 향상시킨다.

ABSTRACT

We present a novel latent embedding model for learning a compatibility function between image and class embeddings, in the context of zero-shot classification. The proposed method augments the state-of-the-art bilinear compatibility model by incorporating latent variables. Instead of learning a single bilinear map, it learns a collection of maps with the selection, of which map to use, being a latent variable for the current image-class pair. We train the model with a ranking based objective function which penalizes incorrect rankings of the true class for a given image. We empirically demonstrate that our model improves the state-of-the-art for various class embeddings consistently on three challenging publicly available datasets for the zero-shot setting. Moreover, our method leads to visually highly interpretable results with clear clusters of different fine-grained object properties that correspond to different latent variable maps.

연구 동기 및 목표

• 기존 선형 호환성 함수가 복잡한 시각적 변동을 포착하지 못하는 세부 분류 문제를 해결하기 위해.
• 이미지 및 클래스 임베딩 간의 호환성 학습을 향상시키기 위해 동적 선택이 가능한 전문화된 선형 맵을 허용하는 잠재 변수를 도입하기 위해.
• 수동 속성에 의존하지 않고도 비지도 텍스트 임베딩(예: word2vec, GloVe)을 효과적으로 활용할 수 있도록 하기 위해.
• 스토하스틱 그래디언트 디센트(SGD)와 프루닝 기반 모델 선택 전략을 사용하여 최적의 잠재 맵 수를 확보하는 스케일러블하고 효율적인 훈련 방법을 개발하기 위해.
• 학습된 잠재 맵이 색상 또는 부리 모양과 같은 명확한 객체 속성에 대응함을 보여줌으로써 시각적 해석 가능성을 제공하기 위해.

제안 방법

• 모델은 각 이미지-클래스 쌍마다 K개의 학습된 이차형 호환성 행렬 중에서 선택할 수 있는 잠재 변수를 도입하여 조각별 선형 결정 경계를 가능하게 한다.
• 각 호환성 맵은 행렬 W_i로 매개변수화되며, 최종 호환성 점수는 y = x^T W_i z로 계산되며, 여기서 x는 이미지 임베딩이고 z는 클래스 임베딩이다.
• 모델은 진짜 클래스와 모든 잘못된 클래스 사이의 마진을 최소화하는 순위 기반 목적 함수를 사용하여 훈련되며, 이는 올바른 상대적 순서를 장려한다.
• 스토하스틱 그래디언트 디센트(SGD) 알고리즘이 모델 파라미터와 잠재 변수 할당을 동시에 최적화하기 위해 사용된다.
• 모델 크기와 훈련 시간을 교차 검증보다 줄이기 위해, 잠재 맵 수를 자동으로 선택하는 새로운 프루닝 기반 방법을 제안한다.
• 모델은 감독 학습(예: 속성) 및 비지도 학습(예: word2vec, GloVe) 클래스 임베딩을 모두 지원하여 영향력 있는 제로샷 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 잠재 변수 기반 호환성 모델은 단일 이차형 모델에 비해 세부 분류 데이터셋에서 제로샷 분류 성능을 향상시킬 수 있는가?
• RQ2 동적으로 선택되는 다수의 이차형 맵을 사용할 경우 색상 또는 형태와 같은 시각적 속성의 분리가 향상되는가?
• RQ3 잠재 맵 수(K)가 다양한 데이터셋과 임베딩에서 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ4 잠재 임베딩 모델에 대해 프루닝 기반 모델 선택 방법이 교차 검증에 비해 효율성과 성능 면에서 뛰어나게 작용하는가?
• RQ5 학습된 잠재 맵이 객체의 해석 가능한 시각적 속성(예: 색상, 부리 모양 등)과 어느 정도 대응하는가?

주요 결과

• LatEm는 비지도 word2vec 임베딩을 사용하여 AWA 데이터셋에서 66.2%의 제로샷 정확도를 달성하였으며, 이는 이전 최신 기술인 60.1%보다 뚜렷한 향상이다.
• 세부 분류 데이터셋인 CUB에서 LatEm는 word2vec 임베딩을 사용하여 34.9%의 정확도를 기록하였으며, 이는 이전 최신 기술인 29.9%를 초월한다.
• Dogs 데이터셋에서 LatEm는 word2vec 임베딩을 사용하여 36.3%의 정확도를 달성하였으며, 이는 이전 최신 기술인 35.1%를 능가한다.
• AWA에서 감독 속성을 사용할 경우 LatEm는 76.1%의 정확도를 기록하였으며, 이는 이전 최신 기술인 73.9%를 초월한다.
• 모델는 다섯 개의 폴드 교차 검증 분할에서 안정적인 성능과 낮은 표준 오차를 보이며 강력한 일반화 능력을 보였다.
• 정성적 분석을 통해 서로 다른 잠재 맵이 색상, 부리 모양, 날개 무늬와 같은 해석 가능한 시각적 속성에 대응함을 확인하였으며, 이는 모델의 해석 가능성을 향상시켰다.