[논문 리뷰] Zero-Shot Learning via Joint Latent Similarity Embedding

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|2015. 11. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 14

한 줄 요약

이 논문은 공통 잠재 공간에서 감독형 사전 학습을 통해 클래스에 독립적인 유사도 함수를 학습함으로써, 원천(예: 텍스트 속성)과 대상(예: 이미지) 도메인 인스턴스 간의 바이너리 매칭 문제로 인식을 공식화하는 제로샷 학습 프레임워크를 제안한다. 제안된 방법은 공통 잠재 공간에서 클래스에 독립적인 유사도 함수를 학습함으로써, 네 가지 벤치마크 데이터셋에서 SOTA 대비 평균 4.90%의 정확도 향상을 달성하였고, 제로샷 검색에서 mAP가 22.45% 향상되었다.

ABSTRACT

Zero-shot recognition (ZSR) deals with the problem of predicting class labels for target domain instances based on source domain side information (e.g. attributes) of unseen classes. We formulate ZSR as a binary prediction problem. Our resulting classifier is class-independent. It takes an arbitrary pair of source and target domain instances as input and predicts whether or not they come from the same class, i.e. whether there is a match. We model the posterior probability of a match since it is a sufficient statistic and propose a latent probabilistic model in this context. We develop a joint discriminative learning framework based on dictionary learning to jointly learn the parameters of our model for both domains, which ultimately leads to our class-independent classifier. Many of the existing embedding methods can be viewed as special cases of our probabilistic model. On ZSR our method shows 4.90\% improvement over the state-of-the-art in accuracy averaged across four benchmark datasets. We also adapt ZSR method for zero-shot retrieval and show 22.45\% improvement accordingly in mean average precision (mAP).

연구 동기 및 목표

• 보면 적은 클래스의 부가 정보를 활용하여, 제로샷 학습에서 새로운 클래스를 인식하는 데 도전한다.
• 기존 방법들이 명시적 클래스 특화 모델링이나 속성 전이에 의존하는 한계를 극복한다.
• 기존 ZSL 방법들을 특수 케이스로 통합하는 일반적이고 확률론적 프레임워크를 개발한다.
• 공동 도메인 정렬을 통해 공통 잠재 공간에서 제로샷 인식 및 검색 성능을 향상시킨다.
• 클래스 식별에 관계없이 불변인 일반 유사도 함수를 학습함으로써 새로운 클래스로의 일반화를 가능하게 한다.

제안 방법

• 원천-대상 인스턴스 쌍이 같은 클래스에 속하는지 여부를 예측하는 이진 분류 작업으로 제로샷 인식을 공식화한다.
• 잠재 확률 프레임워크를 사용하여 매칭의 사후 확률을 모델링하며, 이는 도메인별 우도와 교차 도메인 유사도 함수로 분해된다.
• 감독형 사전 학습 프레임워크를 사용하여 원천 및 대상 도메인의 공동 잠재 표현을 학습함으로써 유사도 함수를 최적화한다.
• 시험 시기 동안 보이지 않는 원천 도메인 벡터 및 대상 인스턴스의 잠재 임베딩을 추정하고, 학습된 유사도 함수를 사용해 모든 쌍을 점수화한다.
• 보이는 클래스 데이터를 사용하여 도메인별 우도와 보편 유사도 함수를 분류적으로 학습한다.
• 검색 기준으로 원천 벡터를 쿼리 대상 인스턴스와의 유사도 점수 기반으로 순서를 정함으로써, 제로샷 검색을 위한 인식 모델을 적응시킨다.

실험 결과

연구 질문

• RQ1 원천 및 대상 도메인 인스턴스 간의 바이너리 매칭 문제로 제로샷 인식을 효과적으로 재정의할 수 있는가?
• RQ2 공통 잠재 공간에서 클래스에 독립적인 유사도 함수를 학습하면 새로운 클래스로의 일반화가 향상되는가?
• RQ3 제안된 공동 잠재 유사도 임베딩 모델은 기존의 SOTA 방법과 비교해 인식 및 검색 작업에서 어떻게 성능을 내는가?
• RQ4 기존 ZSL 방법들이 제안된 확률론적 프레임워크의 특수 케이스로 어떻게 해석될 수 있는가?
• RQ5 도메인 정렬과 임베딩 클러스터링은 제로샷 환경에서 검색 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 네 가지 벤치마크 데이터셋(aP&Y, AwA, CUB, SUN-attribute)에서 SOTA 대비 평균 4.90%의 정확도 향상을 달성하였다.
• 제로샷 검색에서, SOTA 방법인 SSE 대비 평균 mAP가 22.45% 향상되었으며, mAP는 평균 53.78%를 기록하였다.
• SSE-INT 및 SSE-ReLU 대비 mAP에서 각각 17.45 및 21.54%포인트 향상되었다.
• AwA의 10개 클래스 중 6개에서 평균 정밀도가 70% 이상을 기록하였고, 10개 클래스 중 6개에서 가장 우수한 성능를 보였다.
• 시각화 결과는 ' seals'와 같은 어려운 클래스의 경우에도 모델이 상위 5개 결과 내에서 정확한 이미지를 검색하는 것으로 나타나, 유사한 시각적 패턴에 대해 강건함을 보였다.
• 모델의 뛰어난 성능는 공통 잠재 공간에서 더 나은 도메인 정렬과 더 뚜렷한 임베딩 클러스터링 덕분으로 기인한다.