[논문 리뷰] XtarNet: Learning to Extract Task-Adaptive Representation for Incremental Few-Shot Learning

S.W. Yoon, Do-Yeon Kim외 2명|arXiv (Cornell University)|2020. 03. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 7

한 줄 요약

XtarNet는 메타학습된 새로운 특징과 사전학습된 백본 특징을 융합하여 작업 적응형 표현(TAR)을 학습하는 새로운 프레임워크를 제안한다. 메타학습된 모듈을 통해 이러한 특징들을 융합함으로써 TAR는 기본 및 새로운 카테고리 모두의 분류 정확도를 향상시키며, mini-ImageNet 및 tiered-ImageNet 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning novel concepts while preserving prior knowledge is a long-standing challenge in machine learning. The challenge gets greater when a novel task is given with only a few labeled examples, a problem known as incremental few-shot learning. We propose XtarNet, which learns to extract task-adaptive representation (TAR) for facilitating incremental few-shot learning. The method utilizes a backbone network pretrained on a set of base categories while also employing additional modules that are meta-trained across episodes. Given a new task, the novel feature extracted from the meta-trained modules is mixed with the base feature obtained from the pretrained model. The process of combining two different features provides TAR and is also controlled by meta-trained modules. The TAR contains effective information for classifying both novel and base categories. The base and novel classifiers quickly adapt to a given task by utilizing the TAR. Experiments on standard image datasets indicate that XtarNet achieves state-of-the-art incremental few-shot learning performance. The concept of TAR can also be used in conjunction with existing incremental few-shot learning methods; extensive simulation results in fact show that applying TAR enhances the known methods significantly.

연구 동기 및 목표

• 기존에 학습한 기본 카테고리의 지식을 유지하면서 소수의 예시로 새로운 카테고리를 학습해야 하는 인크리멘탈 희소샷 학습에서 치명적인 잊기 현상을 해결하기 위해.
• 기존 지식과 새로운 작업 특화 특징을 통합하는 작업 적응형 표현(TAR)을 학습하여 기본 및 새로운 카테고리의 분류 성능을 향상시키기 위해.
• 기존의 인크리멘탈 희소샷 학습 방법을 효과적인 특징 융합과 메타학습된 조절을 통해 향상시킬 수 있는 모듈식이며 플러그인 호환 가능한 프레임워크를 개발하기 위해.
• 작업 적응형 표현 학습이 희소샷 환경에서 클러스터링 품질, 신뢰도, 정확도에 크게 기여하는지 확인하기 위해.

제안 방법

• XtarNet는 기본 카테고리 특징을 위해 사전학습된 백본 네트워크를 사용하고, 추가로 메타학습된 모듈을 통해 지원 세트에서 새로운 작업 특화 특징을 추출한다.
• 기본 특징(백본에서 유도)과 새로운 특징(메타모듈에서 유도)을 요소별로 연결하고 적응형 가중치를 적용함으로써 작업 적응형 표현(TAR)을 구성한다.
• 메타학습된 어텐션 가중치(ω_meta)는 기본 및 새로운 특징의 융합을 동적으로 제어하여 작업 조건에 맞는 표현 학습을 가능하게 한다.
• TAR를 입력으로 사용하여 기본 및 새로운 분류기의 빠른 적응이 이루어지며, 새로운 분류기의 가중치는 통합된 특징의 각 클래스 평균값에서 유도된다.
• 모델은 에피소드 기반 메타학습 설정에서 훈련되며, 각 에피소드에는 새로운 카테고리의 소수 샘플 지원 세트와 기본 및 새로운 클래스의 쿼리 샘플이 포함된다.
• 이 프레임워크는 기존의 인크리멘탈 희소샷 학습자(예: Imprint, LwoF)와 호환되며, TAR는 성능 향상을 위해 플러그인 모듈로 적용될 수 있다.

실험 결과

연구 질문

• RQ1 메타학습된 특징 융합 메커니즘이 인크리멘탈 학습에서 치명적인 잊기 현상을 방지하면서도 희소샷 분류 정확도를 향상시킬 수 있는가?
• RQ2 표준 희소샷 기반선 대비 작업 적응형 표현을 사용할 경우 특징 공간 내 클러스터링 품질은 어떻게 변화하는가?
• RQ3 TAR는 희소샷 환경에서 추론의 신뢰도와 레이블 정확도를 어느 정도 향상시키는가?
• RQ4 제안된 TAR 메커니즘은 기존의 인크리멘탈 희소샷 학습 방법과 효과적으로 조합되어 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• XtarNet는 인크리멘탈 희소샷 학습에서 mini-ImageNet 및 tiered-ImageNet 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 제안된 TAR 메커니즘은 Imprint 기준선 대비 기본 카테고리의 제곱합 오차(SSE)를 53.6% 감소시키고, 새로운 카테고리의 경우 39.9% 감소시킨다.
• 가장 가까운 간섭 중심점으로 정규화한 SSE(nSSE)를 통해 새로운 카테고리의 오차는 28.3% 감소하여 클래스 간 분리도 향상됨을 확인한다.
• 교차 엔트로피 손실은 기본 카테고리의 경우 66.3% 감소하고, 새로운 카테고리의 경우 81.5% 감소하여 예측의 정확도와 신뢰도가 크게 향상됨을 나타낸다.
• 샤논 엔트로피는 기본 카테고리의 경우 72.1% 감소하고, 새로운 카테고리의 경우 74.2% 감소하여 TAR가 더 높은 예측 신뢰도를 제공함을 확인한다.
• 여러 기준선에 걸쳐 일관되게 성능 향상을 보이며, TAR가 인크리멘탈 희소샷 학습에 일반화 가능한 개선 요소임을 입증한다.