[논문 리뷰] Bookworm continual learning: beyond zero-shot learning and continual learning

Kai Wang, Luis Herranz외 2명|arXiv (Cornell University)|2020. 06. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 4

한 줄 요약

이 논문은 고정된 의미 모델을 통해 과거 및 미래 클래스의 특징을 지속적으로 업데이트할 수 있도록 하는 통합적 프레임워크인 Bookworm 지속적 학습(BCL)을 소개한다. 이는 지속적 학습과 제로샷 학습을 통합한 것으로, 이중성 상상(BImag) 프레임워크를 통해 조건부 VAE를 사용해 과거 및 미래 클래스의 특징을 생성하며, 공동 클래스-속성 조건화와 비대칭 생성 방식이 잊기 방지 효과를 크게 향상시키고 기준 모델 대비 성능을 향상시킴을 보여준다. CUB 및 AwA 데이터셋에서의 실험 결과, 이는 지속적 학습의 성능 향상에 기여한다.

ABSTRACT

We propose bookworm continual learning(BCL), a flexible setting where unseen classes can be inferred via a semantic model, and the visual model can be updated continually. Thus BCL generalizes both continual learning (CL) and zero-shot learning (ZSL). We also propose the bidirectional imagination (BImag) framework to address BCL where features of both past and future classes are generated. We observe that conditioning the feature generator on attributes can actually harm the continual learning ability, and propose two variants (joint class-attribute conditioning and asymmetric generation) to alleviate this problem.

연구 동기 및 목표

• 모든 클래스가 사전에 알려져 있으며 새로운 개념에 적응할 수 없는 정적 시각 인식 모델의 한계를 해결하기 위해.
• 새로운 클래스가 시간이 지남에 따라 의미적 사전 지식을 활용해 학습되는 더 현실적인 동적 환경에서 지속적 학습(CL)과 제로샷 학습(ZSL)을 통합하기 위해.
• 의미 모델이 지속적 학습에 미치는 영향을 조사하며, 특히 속성 기반 조건화가 지속적 학습 성능에 도움이 되는지 여부를 밝혀내기 위해.
• 기억력과 계산 자원을 효율적으로 활용하면서도 과거 및 미래 클래스의 특징을 동시에 학습할 수 있는 프레임워크를 개발하기 위해.

제안 방법

• 지속적 학습의 일반화된 설정인 Bookworm 지속적 학습(BCL)을 제안하며, 고정된 의미 모델을 통해 미리 보지 않은 클래스를 인식할 수 있도록 하며, 시각 모델을 시간이 지남에 따라 지속적으로 업데이트한다.
• 과거 및 미래 클래스의 시각적 특징을 클래스와 속성 정보를 기반으로 생성하기 위해 조건부 VAE를 사용하는 이중성 상상(BImag) 프레임워크를 도입한다.
• 지식 보존과 치명적 잊기 방지를 위해 특징 정규화와 재생 정렬을 활용한다.
• 속성 조건화가 지속적 학습 성능에 악영향을 미치는 것을 완화하기 위해 두 가지 변형—공동 클래스-속성 조건화와 비대칭 생성 방식—을 제안한다.
• 지속적 학습 시퀀스의 모든 시간 단계에서 성능을 평가하기 위해 평균 AUTAC(작업 정확도 곡선 아래 면적)이라는 새로운 평가 지표를 사용한다.
• 시각적 특징 추출, 특징 생성, 분류를 동시에 최적화하는 통합 프레임워크를 사용해 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 지속적 학습과 제로샷 학습을 효과적으로 융합하여 시간이 지남에 따라 이미 본 클래스와 본 적 없는 클래스 모두를 인식할 수 있는가?
• RQ2 특징 생성기의 속성에 대한 조건화가 지속적 학습 성능에 도움이 되는가 아니면 해로운가, 그 이유는 무엇인가?
• RQ3 과거(백워드)와 미래(포워드) 특징 생성 간 균형을 어떻게 맞추면 잊기 방지를 줄이고 일반화 성능을 향상시킬 수 있는가?
• RQ4 클래스와 속성에 동시에 조건화하거나 비대칭 생성 방식을 사용하면, 속성 기반 의미 모델이 지속적 학습에 악영향을 미치는 것을 완화할 수 있는가?

주요 결과

• 속성을 조건으로 삼는 attr-BImag 변형은 지속적 학습에서 클래스-BImag 기준 모델 대비 성능이 열 劣하므로, 속성 조건화가 잊기 방지 효과를 떨어뜨릴 수 있음을 시사한다.
• 클래스와 속성을 모두 조건으로 삼는 class-attr-BImag 변형은 attr-BImag에 비해 성능이 크게 향상되어 CUB 150/50에서 평균 AUTAC 0.600, AwA 40/10에서 0.750을 기록한다.
• 비대칭 생성 변형(asym-BImag)은 CUB 150/50에서 평균 AUTAC 0.588을 기록하며, 이는 attr-BImag 및 class-attr-BImag보다 뛰어난 성능을 보이며 이 설정에서 최고 성능이다.
• AwA 40/10에서는 class-attr-BImag가 평균 AUTAC 0.750을 기록하여 모든 작업 간 일반화 성능이 뛰어나다.
• BImag 프레임워크는 GZSL 설정(t=1)에서도 경쟁력 있는 성능을 기록했으며, AwA 40/10에서 평균 AUTAC 0.578을 기록하여 f-VAEGAN-D2에 이어 두 번째로 높은 성능이다.
• 제안된 BCL 프레임워크는 의미 사전 지식 통합 덕분에 초기 시간 단계에서 표준 CL(class-BImag)보다 뛰어나며, 지속적 모델 업데이트를 통해 GZSL 성능을 초월하는 성능 향상을 달성한다.