[논문 리뷰] Zero-shot Learning via Shared-Reconstruction-Graph Pursuit

Bo Zhao, Xinwei Sun외 2명|arXiv (Cornell University)|2017. 11. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 9

한 줄 요약

이 논문은 영상과 의미 임베딩 공간 간의 분포 이탈로 인해 지식 전이가 어려운 제로샷 학습(ZSL)에서의 스페이스 시프트 문제를 해결하기 위해 그래프 기반의 새로운 방법, 공유 복원 그래프 퍼스위트(SRG)를 제안한다. 영상 공간과 의미 공간 간에 공유되는 복원 계수를 학습함으로써, 미사전 클래스의 프로토타입을 합성하여 분류를 가능하게 하며, 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 ImageNet에서 18.26%의 Top-5 정확도를 기록한다.

ABSTRACT

Zero-shot learning (ZSL) aims to recognize objects from novel unseen classes without any training data. Recently, structure-transfer based methods are proposed to implement ZSL by transferring structural knowledge from the semantic embedding space to image feature space to classify testing images. However, we observe that such a knowledge transfer framework may suffer from the problem of the geometric inconsistency between the data in the training and testing spaces. We call this problem as the space shift problem. In this paper, we propose a novel graph based method to alleviate this space shift problem. Specifically, a Shared Reconstruction Graph (SRG) is pursued to capture the common structure of data in the two spaces. With the learned SRG, each unseen class prototype (cluster center) in the image feature space can be synthesized by the linear combination of other class prototypes, so that testing instances can be classified based on the distance to these synthesized prototypes. The SRG bridges the image feature space and semantic embedding space. By applying spectral clustering on the learned SRG, many meaningful clusters can be discovered, which interprets ZSL performance on the datasets. Our method can be easily extended to the generalized zero-shot learning setting. Experiments on three popular datasets show that our method outperforms other methods on all datasets. Even with a small number of training samples, our method can achieve the state-of-the-art performance.

연구 동기 및 목표

• 제로샷 학습에서 학습 및 테스트 데이터가 기하학적으로 일관되지 않은 영상 공간과 의미 임베딩 공간에 존재하는 스페이스 시프트 문제를 해결한다.
• 직접적인 매핑 함수에 의존하지 않고, 의미 공간에서 영상 특징 공간으로 구조적 지식을 전이할 수 있는 방법을 개발한다.
• 공유 복원 계수를 이용해 미사전 클래스의 프로토타입을 합성함으로써, 정확한 분류를 가능하게 한다.
• SRG에 대한 스펙트럴 클러스터링을 적용하여 의미 있는 잠재 클러스터를 발견함으로써, 일반화된 제로샷 학습(GZSL)에서 일반화 능력을 향상시킨다.
• 희박하고 국소적으로 구조화된 복원을 통해 강건성을 향상시키며, 특히 제한된 학습 샘플에서 뛰어난 성능을 발휘한다.

제안 방법

• 영상 공간의 각 클래스 프로토타입을 영상 공간과 의미 임베딩 공간의 다른 프로토타입들의 선형 조합으로 매핑하는 데 공유 복원 계수를 학습함으로써, 공유 복원 그래프(SRG)를 구축한다.
• 유의미하고 정보적인 프로토타입을 선택하기 위해 희박성 및 국소성 정규화를 포함한 최적화 문제로 SRG 학습을 공식화한다.
• 학습된 SRG에 스펙트럴 클러스터링을 적용하여 임베딩 공간 내에서 의미 있고 해석 가능한 클러스터를 발견함으로써 지식 전이를 지원한다.
• 의미 공간에서 유도된 공유 복원 계수를 이용해 영상 공간에서 미사전 클래스의 프로토타입을 합성하고, 최근접 이웃 거리 기반 분류를 수행한다.
• 보기와 보기를 포함한 볼 수 있는 클래스와 볼 수 없는 클래스 모두에서 성능을 평가함으로써 일반화된 ZSL(GZSL)에 대한 방법을 확장하며, ${u\rightarrow u}$, ${s\rightarrow s}$, 및 ${s\rightarrow\tau}$와 같은 지표를 사용한다.
• 의미 임베딩으로서 속성과 워드 벡터를 모두 활용하고, 정규화를 통한 융합을 통해 강건성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 기하학적 불일치가 존재하는 제로샷 학습에서 영상 공간과 의미 임베딩 공간 간에 구조적 지식을 효과적으로 전이할 수 있는가?
• RQ2 제안된 공유 복원 그래프(SRG)가 ZSL에서 스페이스 시프트 문제를 어느 정도 완화하는가?
• RQ3 희박하고 국소적으로 구조화된 복원이, 특히 적은 학습 샘플에서 프로토타입 합성과 분류 정확도를 향상시키는가?
• RQ4 SRG 프레임워크는 효과적인 지식 전이를 지원하는 의미적으로 유의미한 잠재 클러스터를 발견할 수 있는가?
• RQ5 보다 현실적인 일반화된 제로샷 학습(GZSL) 환경에서, 최신 기술 수준의 접근법들과 비교해 본다면 이 방법은 어떤 성능을 보이는가?

주요 결과

• 제안된 SRG 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다: ImageNet에서 18.26%의 Top-5 정확도를 기록하며, DeViSE와 ConSE를 모두 초월한다.
• ImageNet에서, 희박성 및 국소성 정규화를 적용했을 때, Top-1 정확도가 8.14%에 달하며, 이는 이전 최고 성능(7.72%)보다 0.42% 향상된 것이다.
• AwA에서, GZSL 설정에서 모든 지표에서 최고 성능을 기록하며, ${u\rightarrow u}$는 100%, ${s\rightarrow s}$는 85.7%의 정확도를 기록한다.
• 속성 정보를 의미 임베딩으로 사용할 경우, 희박성 정규화를 도입함으로써 AwA에서 성능이 최대 16.29% 향상되며, 이는 그 효과를 입증한다.
• SRG에 대한 스펙트럴 클러스터링을 통해 AwA에서 11개의 의미적으로 명확하고 분리 가능한 클러스터를 발견하였으며, 이는 미사전 클래스가 의미적으로 유사한 본래의 클래스들과 함께 그룹화됨을 보여주어, 방법의 해석 가능성과 타당성을 입증한다.
• 이 방법은 소수의 학습 샘플에서도 뛰어난 성능을 유지하며, 강건성과 일반화 능력이 뛰어나다는 것을 시사한다.