[논문 리뷰] Zero-Shot Learning via Semantic Similarity Embedding

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|2015. 09. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 117

한 줄 요약

이 논문은 소스 도메인과 타겟 도메인 데이터를 본 적 있는 클래스 비율의 혼합으로 모델링하고, 각 클래스에 따라 다를 수 있는 특징 변환을 학습하여 양 도메인을 공유된 의미적 공간으로 매핑함으로써, 미리 보지 않은 클래스의 정확한 분류를 가능하게 하는 의미적 유사도 임베딩(SSE) 방법을 제안한다. 이 방법은 SUN Attributes를 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 이전 방법들에 비해 뚜렷한 정확도 향상을 보인다.

ABSTRACT

In this paper we consider a version of the zero-shot learning problem where seen class source and target domain data are provided. The goal during test-time is to accurately predict the class label of an unseen target domain instance based on revealed source domain side information (\eg attributes) for unseen classes. Our method is based on viewing each source or target data as a mixture of seen class proportions and we postulate that the mixture patterns have to be similar if the two instances belong to the same unseen class. This perspective leads us to learning source/target embedding functions that map an arbitrary source/target domain data into a same semantic space where similarity can be readily measured. We develop a max-margin framework to learn these similarity functions and jointly optimize parameters by means of cross validation. Our test results are compelling, leading to significant improvement in terms of accuracy on most benchmark datasets for zero-shot recognition.

연구 동기 및 목표

• 시험 시점에 소스 도메인 속성(예: 속성, 단어)만 제공될 때, 아직 보지 않은 클래스를 분류하는 데 도전하는 것.
• 소스 도메인과 타겟 도메인 데이터를 본 적 있는 클래스 비율의 확률적 혼합으로 모델링하여 제로샷 인식 성능을 향상시키는 것.
• 소스 도메인과 타겟 도메인에 대해 공유된 의미적 임베딩을 학습하여, 유사한 혼합 패턴이 동일한 아직 보지 않은 클래스를 나타내도록 하는 것.
• 보류된 본 적 있는 클래스를 활용한 교차 검증을 통해 임베딩 파라미터를 공동 최적화하여, 아직 보지 않은 클래스로의 일반화 능력을 향상시키는 것.
• 잡음이 많은 보조 정보나 선형 매핑에 의존하는 기존 방법의 한계를 극복하기 위해, 클래스에 따라 다를 수 있는 특징 변환을 도입하는 것.

제안 방법

• 각 소스 도메인 클래스를 본 적 있는 클래스 비율의 히스토GRAM으로 표현하여 단형상에서의 확률적 혼합을 형성한다.
• 클래스에 따라 다를 수 있는 특징 변환을 사용하여 타겟 도메인 인스턴스를 동일한 의미적 공간으로 투영함으로써, 본 적 있는 클래스 혼합 비율을 추정한다.
• 소스 도메인과 타겟 도메인 간의 본 적 있는 클래스 데이터 분포를 정렬하는 최대 마진 프레임워크를 통해 소스 및 타겟 도메인 임베딩 함수를 학습한다.
• 두 가지 변형을 사용한다: 하나는 교차 함수 기반이고, 다른 하나는 유사도 점수 계산에 ReLU(Rectified Linear Unit)를 사용한다.
• 본 적 있는 클래스의 부분 집합을 보류하여 교차 검증을 수행함으로써, 일반화 능력을 향상시키기 위해 임베딩 파라미터를 공동 최적화한다.
• 딥 특징(예: VGG-verydeep-19)을 임베딩 네트워크의 입력으로 사용하여 강력한 특징 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 본 적 있는 클래스 비율의 혼합으로 소스 도메인과 타겟 도메인 데이터를 모델링하면 제로샷 인식 정확도가 향상되는가?
• RQ2 클래스에 따라 다를 수 있는 특징 변환을 학습하면 소스 도메인과 타겟 도메인 간의 의미적 유사도가 더 잘 정렬되는가?
• RQ3 보류된 본 적 있는 클래스를 활용한 최대 마진 프레임워크는 아직 보지 않은 클래스로의 일반화에 효과적으로 작용하는가?
• RQ4 대규모 제로샷 인식 벤치마크에서 제안된 방법은 최신 기술 수준의 접근 방식과 비교해 어떤가?
• RQ5 본 적 있는 클래스 수가 적고, 아직 보지 않은 클래스 수가 많을 경우, 이 방법은 어느 정도 강인한가?

주요 결과

• SUN Attributes 데이터셋에서 본 적 있는 클래스가 317개, 아직 보지 않은 클래스가 10개일 때, 정확도가 87.17%에 도달하여 무작위 기준(0.14%)보다 뚜렷한 향상을 보였다.
• 700개의 아직 보지 않은 클래스가 있을 경우 정확도는 2.85%로 떨어지지만, 여전히 안정적이고 무작위 기준보다 뚜렷하게 높아, 확장성 잠재력을 보였다.
• CIFAR-10에서 다중 스레드 CPU를 사용해 추론을 5분 이내에 완료하여 계산 효율성이 뛰어나다는 것을 입증했다.
• 대규모 제로샷 인식 작업을 포함한 다섯 개의 벤치마크 데이터셋에서 기존 최신 기술 수준의 접근 방식을 모두 능가했다.
• 클래스에 따라 다를 수 있는 특징 변환과 의미적 유사도 임베딩을 사용함으로써, 특히 VGG-verydeep-19 특징을 사용할 경우 타겟 도메인 데이터가 소스 도메인 속성과 더 잘 정렬됨을 확인했다.
• 본 적 있는 클래스가 적을 경우에도 잘 일반화되며, 본 적 있는 클래스가 17개, 아직 보지 않은 클래스가 10개일 때 정확도가 61.00%에 도달했고, 본 적 있는 클래스가 317개일 경우 87.17%로 향상되었다.