Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning

Max Vladymyrov, Andrey Zhmoginov|arXiv (Cornell University)|2023. 01. 11.
Domain Adaptation and Few-Shot Learning인용 수 5
한 줄 요약

이 논문은 재난적 기억 상실을 방지하면서 지속적인 소수 샘플 학습을 가능하게 하는 메타-학습자인 지속적 하이퍼트랜스포머(Continual HyperTransformer, CHT)를 제안한다. CHT는 소수 샘플 지원 집합에서부터 태스크별 CNN 가중치를 반복적으로 생성하고 업데이트하는 하이퍼트랜스포머를 사용하며, 재학습 없이도 지속적인 학습을 수행한다. 클래스 프로토타입을 유지하기 위해 프로토타입 손실을 사용함으로써, CHT는 정상적인 후방 전이를 달성하고 태스크 인크리멘탈 및 클래스 인크리멘탈 상황 모두에서 효과적으로 일반화되며, 훈련한 태스크 수보다 더 많은 태스크에서 테스트된 경우조차도 베이스라인을 능가한다.

ABSTRACT

We focus on the problem of learning without forgetting from multiple tasks arriving sequentially, where each task is defined using a few-shot episode of novel or already seen classes. We approach this problem using the recently published HyperTransformer (HT), a Transformer-based hypernetwork that generates specialized task-specific CNN weights directly from the support set. In order to learn from a continual sequence of tasks, we propose to recursively re-use the generated weights as input to the HT for the next task. This way, the generated CNN weights themselves act as a representation of previously learned tasks, and the HT is trained to update these weights so that the new task can be learned without forgetting past tasks. This approach is different from most continual learning algorithms that typically rely on using replay buffers, weight regularization or task-dependent architectural changes. We demonstrate that our proposed Continual HyperTransformer method equipped with a prototypical loss is capable of learning and retaining knowledge about past tasks for a variety of scenarios, including learning from mini-batches, and task-incremental and class-incremental learning scenarios.

연구 동기 및 목표

  • 순차적으로 도래하는 태스크에서 소수의 레이블된 예시만을 가진 지속적인 소수 샘플 학습에서 재난적 기억 상실 문제를 해결하기 위해.
  • 재학습 없이도 지원 집합 입력만을 사용하여 태스크별 CNN 가중치를 실시간으로 업데이트할 수 있는 메타-학습자를 개발하기 위해.
  • 단일 통합 아키텍처를 사용하여 태스크 인크리멘탈 및 클래스 인크리멘탈 학습 상황 모두에서 효과적인 일반화를 가능하게 하기 위해.
  • 기존 태스크의 지식을 유지하고, 새로운 태스크 학습을 통해 이전 태스크의 성능이 향상되는 정상적인 후방 전이를 달성할 수 있음을 보여주기 위해.
  • 다양한 이미지 분포에서 온 태스크들이 도래하는 다중 도메인 소수 샘플 학습 환경에서 모델의 강건성을 평가하기 위해.

제안 방법

  • 이 방법은 소수 샘플 지원 집합에서 직접 태스크별 CNN 가중치를 생성하기 위해 하이퍼트랜스포머(HT)를 사용하며, 메타-학습자(트랜스포머)와 태스크별 학습자(CNN)를 분리한다.
  • CHT는 현재 태스크를 위한 업데이트된 가중치 θₜ를 생성하기 위해 이전에 생성된 CNN 가중치 θₜ₋₁와 함께 새로운 지원 집합 S⁽ᵗ⁾을 재사용한다.
  • 손실 함수는 교차 엔트로피에서 클래스 프로토타입을 임베딩 공간에서 학습하는 프로토타입 손실로 수정되어, 모든 이전 및 현재 태스크에 대해 동시 최적화가 가능해진다.
  • 새로운 태스크가 도래할 때마다 프로토타입은 점진적으로 업데이트되며, 예측은 임베딩 공간에서 가장 가까운 프로토타입 기반 분류에 기반한다.
  • 모델는 순환 시스템으로 작동하여 t ≤ T의 임의의 시점에서 추론이 가능하며, T가 증가할수록 성능이 향상된다.
  • 아키텍처는 모든 이전 태스크의 쿼리 세트 손실의 합을 최소화하도록 엔드 투 엔드로 훈련되어 지식 유지 보장을 보장한다.
Figure 1: In few-shot continual learning, the model learns from $T$ tasks sequentially. For the first task (task $0$ ), the CNN weights $\theta_{0}$ are generated using only the support set $\smash{S^{(0)}}$ . For each subsequent task $t$ , the Continual HyperTransformer ( CHT ) uses the support set
Figure 1: In few-shot continual learning, the model learns from $T$ tasks sequentially. For the first task (task $0$ ), the CNN weights $\theta_{0}$ are generated using only the support set $\smash{S^{(0)}}$ . For each subsequent task $t$ , the Continual HyperTransformer ( CHT ) uses the support set

실험 결과

연구 질문

  • RQ1하이퍼트랜스포머는 재난적 기억 상실 없이 지속적인 소수 샘플 학습을 수행하도록 적응시킬 수 있는가?
  • RQ2제안된 방법은 성능 향상이 이루어지는 정상적인 후방 전이를 달성하는가? 즉, 새로운 태스크 학습을 통해 이전 태스크의 성능이 향상되는가?
  • RQ3단일 CHT 모델이 태스크 인크리멘탈 및 클래스 인크리멘탈 학습 상황 모두에 효과적으로 일반화할 수 있는가?
  • RQ4훈련한 태스크 수보다 더 많은 태스크에서 테스트했을 때, 특히 다중 도메인 소수 샘플 설정에서 모델의 성능은 어떻게 되는가?
  • RQ5표준 교차 엔트로피에 비해 프로토타입 손실을 사용할 경우, 지속적인 소수 샘플 학습에서 일반화 및 지식 유지 능력이 향상되는가?

주요 결과

  • CHT는 정상적인 후방 전이를 달성하였으며, 특히 작은 모델에서 더 많은 태스크를 훈련할수록 이전 태스크의 성능이 향상되는 경향을 보였다.
  • Omniglot 데이터셋에서 T=5개 태스크로 훈련한 CHT는 초기에 모든 태스크 정보를 확보한 MergedHT 베이스라인을 능가했다.
  • 다중 도메인 소수 샘플 학습에서 CHT는 태스크 0에서 56.2%의 정확도, 태스크 1에서 55.2%의 정확도를 기록했으며, ConstPN에 비해 약 3%p 높은 성능을 보였다(각각 53% 및 52.8%).
  • 훈련한 태스크 수보다 더 많은 태스크에서 테스트했을 때 CHT는 성능 저하가 거의 없었으며, 강력한 외삽 능력을 보였다.
  • CHT는 태스크 인크리멘탈 및 클래스 인크리멘탈 환경 모두에서 높은 성능를 유지하였으며, 두 상황 간 성능가 유사한 결과를 기록했다.
  • CHT가 더 많은 태스크 T로 훈련될수록 특정 가중치 θₜ의 성능이 향상되었으며, 이는 광범위한 사전 훈련의 가치를 보여주었다.
Figure 2: The information flow of the HyperTransformer ( HT ) model ( left ) compared to the proposed Continual HyperTransformer ( CHT ) model ( right ). In the original HT , the input weight embeddings are initialized with empty placeholders. In contrast, the proposed CHT model incorporates informa
Figure 2: The information flow of the HyperTransformer ( HT ) model ( left ) compared to the proposed Continual HyperTransformer ( CHT ) model ( right ). In the original HT , the input weight embeddings are initialized with empty placeholders. In contrast, the proposed CHT model incorporates informa

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.