[논문 리뷰] Extended Few-Shot Learning: Exploiting Existing Resources for Novel Tasks

Reza Esfandiarpoor, Amy Pu외 2명|arXiv (Cornell University)|2020. 12. 13.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 대규모 데이터셋에서 어휘적으로 관련된 보조 데이터를 활용하여 소수의 샘플로 분류하는 이미지 분류 성능을 햖थ기 위한 Extended Few-Shot Learning (EFSL) 프레임워크를 소개한다. 목표 클래스와 관련된 '가짜 샷'(pseudo shots)을 지식 그래프를 통해 식별하고, 메타학습된 마스킹 모듈을 통해 이러한 예제들로부터 특징을 필터링하고 적응시킴으로써 EFSL은 간단한 미세조정과 전이 학습 대비 각각 4.68%, 6.03% 향상된 정확도를 달성한다.

ABSTRACT

In many practical few-shot learning problems, even though labeled examples are scarce, there are abundant auxiliary datasets that potentially contain useful information. We propose the problem of extended few-shot learning to study these scenarios. We then introduce a framework to address the challenges of efficiently selecting and effectively using auxiliary data in few-shot image classification. Given a large auxiliary dataset and a notion of semantic similarity among classes, we automatically select pseudo shots, which are labeled examples from other classes related to the target task. We show that naive approaches, such as (1) modeling these additional examples the same as the target task examples or (2) using them to learn features via transfer learning, only increase accuracy by a modest amount. Instead, we propose a masking module that adjusts the features of auxiliary data to be more similar to those of the target classes. We show that this masking module performs better than naively modeling the support examples and transfer learning by 4.68 and 6.03 percentage points, respectively.

연구 동기 및 목표

• 새로운 클래스에 대한 레이블이 부족한 소수의 샘플 학습 환경에서, 보다 풍부한 보조 데이터가 존재하는 격차를 메우기 위해.
• 기존 지원셋 외부의 외부 레이블 데이터를 통합하는 새로운 학습 패러다임—확장된 소수의 샘플 학습(EFSL)—을 체계화하기 위해.
• 의미적으로 관련된 보조 예제(가짜 샷)를 지능적으로 선택하고, 이를 소수의 샘플 모델에 효과적으로 통합하는 방법을 개발하기 위해.
• 보조 데이터의 특징을 목표 작업 표현과 더 잘 일치하도록 적응시키는 마스킹 모듈을 설계하기 위해.
• 목표 클래스와 보조 클래스 간의 통제된 의미적 거리를 갖춘 벤치마크를 제공하여 EFSL 방법의 공정한 평가를 가능하게 하기 위해.

제안 방법

• 목표 클래스와 보조 클래스 간의 의미적 유사도를 계산하기 위해 지식 그래프(예: ConceptNet)를 사용한다.
• 목표 클래스와 의미적으로 관련된 클래스들로부터 보조 예제의 일부를 선별하여 '가짜 샷'으로 간주한다.
• 목표 작업에 가장 관련성이 높은 특징을 식별하고 강조하는 메타학습된 마스킹 모듈을 훈련시킨다.
• 마스킹 모듈을 적용하여 가짜 샷의 특징을 개선함으로써 목표 클래스 임베딩과 더 잘 일치하도록 만든다.
• 기존의 FSL 모델(예: 최근접 중심점, 관계 네트워크)에 변화 없이 마스킹된 가짜 샷을 통합한다.
• 다양한 의미적 거리를 갖는 소수의 샘플 작업을 시뮬레이션하는 에피소드 기반 메타학습을 통해 마스킹 모듈을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 어떻게 의미적으로 목표 소수의 샘플 분류 작업과 관련된 보조 데이터를 효과적으로 선별할 수 있는가?
• RQ2 의미적으로 거리가 먼 보조 예제들로부터 노이즈가 있거나 관련성이 없는 특징을 적응적으로 걸러내고 통합할 수 있는 메커니즘은 무엇인가?
• RQ3 보조 클래스와 목표 클래스 간의 의미적 거리가 증가함에 따라 EFSL의 성능은 어떻게 변화하는가?
• RQ4 보조 데이터를 사용할 때 제안된 마스킹 모듈이 간단한 미세조정과 전이 학습을 능가할 수 있는가?
• RQ5 이 프레임워크는 다양한 FSL 모델과 벤치마크에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 마스킹 모듈은 가짜 샷을 단순히 모델링하는 것에 비해 소수의 샘플 분류 정확도를 4.68% 향상시킨다.
• 보조 데이터를 활용한 특징 학습에서 마스킹 모듈은 전이 학습 대비 6.03% 정확도 향상을 달성한다.
• 보조 데이터를 단지 이미지 임베딩을 사전 학습하는 데만 사용할 경우, 평균 정확도가 5.86% 향상된다.
• 가짜 샷을 목표 프로토타입 업데이트에 단순히 사용할 경우, 평균적으로 성능 향상은 뿐만 아니라 4.13%에 그친다.
• 보조 데이터가 목표 클래스와 의미적으로 거리가 있어도 프레임워크는 강건한 성능을 유지한다.
• 이 방법은 최근접 중심점, 관계 네트워크, 임베딩 적응 방법을 포함한 다양한 FSL 분류기와 호환된다.