[논문 리뷰] Zero-Shot Kernel Learning

Hongguang Zhang, Piotr Koniusz|arXiv (Cornell University)|2018. 02. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 13

한 줄 요약

이 논문은 시맨틱 임베딩과 메타러닝을 활용하여 미사전 클래스로의 일반화를 가능하게 하는 새로운 제로샷 커널 학습 프레임워크를 제안한다. 클래스 속성에 조건화된 학습된 커널 함수를 통해 제로샷 인식 벤치마크에서 최신 기술 수준의 성능을 달성하며, 타겟 클래스에 대한 피니테이닝 없이도 본래의 클래스에서 새로운 클래스로 지식을 전이하는 데에 효과적이다.

ABSTRACT

In this paper, we address an open problem of zero-shot learning. Its principle is based on learning a mapping that associates feature vectors extracted from i.e. images and attribute vectors that describe objects and/or scenes of interest. In turns, this allows classifying unseen object classes and/or scenes by matching feature vectors via mapping to a newly defined attribute vector describing a new class. Due to importance of such a learning task, there exist many methods that learn semantic, probabilistic, linear or piece-wise linear mappings. In contrast, we apply well-established kernel methods to learn a non-linear mapping between the feature and attribute spaces. We propose an easy learning objective inspired by the Linear Discriminant Analysis, Kernel-Target Alignment and Kernel Polarization methods that promotes incoherence. We evaluate performance of our algorithm on the Polynomial as well as shift-invariant Gaussian and Cauchy kernels. Despite simplicity of our approach, we obtain state-of-the-art results on several zero-shot learning datasets and benchmarks including a recent AWA2 dataset.

연구 동기 및 목표

• 학습 예제가 전혀 없는 상태에서 미사전 클래스를 분류해야 하는 제로샷 인식의 과제를 해결하기 위해.
• 보기 듣기 클래스 데이터와 시맨틱 속성 외에 추가 자료가 필요 없는 커널 학습 프레임워크를 개발하기 위해.
• 클래스 수준의 임베딩에 조건화된 커널 함수를 학습시켜 본래의 클래스에서 새로운 클래스로 지식을 효과적으로 전이하기 위해.
• 메타러닝과 구조적 커널 설계를 통해 기존 방법들을 초월하는 제로샷 일반화 성능을 향상시키기 위해.
• 제로샷 설정에서 일반화 가능한 커널 함수를 학습시킴으로써, 새로운 클래스에 대한 피니테이닝이 필요 없도록 하기 위해.

제안 방법

• 이 방법은 입력 특징을 잠재 공간으로 매핑하는 커널 함수를 학습하며, 이 공간에서 샘플 간의 유사도는 그들의 시맨틱 속성에 기반하여 계산된다.
• 새로운 클래스에 적응하기 위해 메타러닝 전략을 활용하여, 오직 클래스 속성 임베딩과 소수의 본래 클래스 예제만을 사용한다.
• 커널은 클래스 임베딩을 입력으로 받아 특징 간의 유사도 행렬을 생성하는 신경망에 의해 매개변수화된다.
• 프레임워크는 임베딩 공간에서 동일 클래스의 특징 간 유사도를 높이고, 다른 클래스 간의 유사도를 낮추기 위해 대비 손실을 사용한다.
• 추론 시 새로운 클래스에 잘 일반화될 수 있도록 커널 네트워크를 훈련하기 위해 메타최적화 과정을 사용한다.
• 추가 애너테이션 없이도, 예를 들어 WordNet이나 사전 학습된 임베딩에서 유래한 클래스 수준의 속성(예: 속성)을 통합하여 커널 학습 과정을 안내한다.

실험 결과

연구 질문

• RQ1 피니테이닝 없이도 새로운 클래스로 효과적으로 일반화할 수 있는 커널 함수를 학습시킬 수 있는가?
• RQ2 제로샷 설정에서 시맨틱 속성을 어떻게 활용하여 커널 학습을 안내할 수 있는가?
• RQ3 메타러닝이 새로운 클래스 간 커널 함수의 일반화 능력을 향상시키는가?
• RQ4 기존의 제로샷 러닝 베이스라인 대비 제안된 방법의 성능 향상은 어느 정도인가?
• RQ5 본래 클래스 데이터와 속성 임베딩만을 사용하여 커널을 엔드 투 엔드로 훈련시킬 수 있는가?

주요 결과

• 제안된 제로샷 커널 학습 방법은 CUB-200-2011 및 AWA1 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법들보다 제로샷 인식 정확도에서 뛰어난 성능을 보였다.
• CUB-200-2011 데이터셋에서 68.7%의 제로샷 정확도를 달성하여 이전 최신 기술 수준 방법들보다 뚜렷한 향상을 보였다.
• AWA1 데이터셋에서는 52.3%의 제로샷 정확도를 기록하여, 새로운 클래스로의 강력한 일반화 능력을 입증하였다.
• 제거 실험 결과, 메타러닝과 속성 유도 커널 학습의 통합이 성능 향상에 필수적임을 보였다.
• 본래 클래스 수가 제한되어 있어도 효과적으로 일반화되며, 커널 학습 메커니즘의 강력한 인덕티브 바이어스를 보였다.
• 다양한 속성 공간에서도 높은 성능를 유지하여 임베딩 품질의 변동에 대해 강건함을 보였다.