[논문 리뷰] A Memory Transformer Network for Incremental Learning

Ahmet İşcen, Thomas Bird외 3명|arXiv (Cornell University)|2022. 10. 10.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 메모리 트랜스포머 네트워크(MTN)를 제안하며, 이는 추론 중 메모리 백에서 k개의 가장 가까운 이웃의 특징을 동적으로 집계하는 경량 트랜스포머를 사용하여 예시 기반 재훈련을 향상시키는 새로운 클래스 증분 학습 방법이다. MTN은 메모리 사용량이 작더라도 ImageNet-1k 및 Google-Landmarks-1k 벤치마크에서 최고 성능을 기록하며, 쿼리-메모리 관계를 명시적으로 모델링함으로써 기존 방법들을 능가한다.

ABSTRACT

We study class-incremental learning, a training setup in which new classes of data are observed over time for the model to learn from. Despite the straightforward problem formulation, the naive application of classification models to class-incremental learning results in the "catastrophic forgetting" of previously seen classes. One of the most successful existing methods has been the use of a memory of exemplars, which overcomes the issue of catastrophic forgetting by saving a subset of past data into a memory bank and utilizing it to prevent forgetting when training future tasks. In our paper, we propose to enhance the utilization of this memory bank: we not only use it as a source of additional training data like existing works but also integrate it in the prediction process explicitly.Our method, the Memory Transformer Network (MTN), learns how to combine and aggregate the information from the nearest neighbors in the memory with a transformer to make more accurate predictions. We conduct extensive experiments and ablations to evaluate our approach. We show that MTN achieves state-of-the-art performance on the challenging ImageNet-1k and Google-Landmarks-1k incremental learning benchmarks.

연구 동기 및 목표

• 새로운 데이터를 학습할 때 이전에 학습한 클래스를 잊는 치명적인 잊음(catastrophic forgetting) 문제를 해결하기 위해.
• 메모리가 학습 기간 동안만 사용되는 기존 예시 기반 재훈련 방법을 향상시키기 위해.
• 학습 기간 외에도 메모리 예시를 의사결정 과정에서 명시적으로 활용하여 예측 정확도를 향상시키기 위해.
• 소규모 메모리 예산에서도 높은 성능를 유지할 수 있는 가벼운 효율적인 아키텍처를 설계하기 위해.
• 트랜스포머를 통해 로컬 특징 이웃 구조를 모델링하면 증분 환경에서 더 견고하고 정확한 예측이 가능하다는 것을 입증하기 위해.

제안 방법

• MTN은 주어진 쿼리 이미지에 대해 메모리 백에서 가장 관련성이 높은 예시를 특징 공간 내 k개의 가장 가까운 이웃(kNN) 검색을 통해 검색한다.
• 쿼리 벡터와 그 k개의 가장 가까운 이웃은 상호작용을 모델링하여 개선된 맥락 인식 표현을 생성하는 가벼운 트랜스포머를 통해 처리된다.
• 트랜스포머는 쿼리와 이웃들을 주시하며, 특징을 재가중하고 집계하여 예측 신뢰도와 정확도를 향상시킨다.
• 최종 예측은 집계된 표현 기반으로 이루어지며, 출력 분포는 쿼리와 그 메모리 이웃 양쪽에 조건화된다.
• 이 방법은 추론 시점에 적용되며, 모델 학습과 수직적이고 어떤 백본과 특징 추출기와도 호환된다.
• 아키텍처는 효율적이며, 전체 메모리 백에 주목하는 것의 계산 비용을 피하기 위해 메모리의 소수의 부분(즉, k개 이웃)만 처리한다.

실험 결과

연구 질문

• RQ1 예측 과정에 메모리 예시를 명시적으로 통합하면 증분 학습에서 일반화 능력 향상과 잊음 감소에 기여할 수 있는가?
• RQ2 특징 공간에서 쿼리의 국소적 이웃을 트랜스포머로 모델링하는 것이 표준 kNN 또는 분류기 기반 추론과 비교해 어떻게 다를까?
• RQ3 소규모 메모리 예산 하에서도 제안된 방법이 성능 유지를 할 수 있는가? 특히 예시 효율성이 중요한 상황에서.
• RQ4 MTN 아키텍처는 ImageNet-1k 및 Google-Landmarks-1k와 같은 도전적인 벤치마크에서 최고 성능 기록 기준 기술을 능가할 수 있는가?
• RQ5 k(이웃 수)와 메모리 크기 M과 같은 하이퍼파라미터에 대해 MTN은 얼마나 민감한가?

주요 결과

• MTN은 ImageNet-1k 벤치마크에서 최고 성능을 기록하며, 이전 방법들인 SS-IL 및 iCaRL를 능가한다.
• Google-Landmarks-1k에서 MTN은 보고된 바 중 가장 높은 정확도를 달성하여 세밀한 분류 및 오픈 보고어 데이터셋에서 강력한 일반화 능력을 입증한다.
• MTN은 소규모 메모리 크기에 매우 강건하여, M이 10,000에 불과할 때도 높은 성능를 유지한다. 반면 기준 방법인 SS-IL는 성능이 크게 떨어진다.
• k 값에 따른 성능 변화가 안정적이며, k ≥ 10 범위에서 안정적인 성능를 보이며, 효율성과 정확도를 고려해 k=10을 최적의 값으로 선정한다.
• 정성적 분석 결과, MTN은 잘못 분류된 이웃들을 성공적으로 재가중하며, 모호한 경우에도 정답 클래스의 예시에 더 높은 주의를 기울인다.
• 중간 크기의 트랜스포머(4층, 128차원)가 성능와 효율성 사이의 최적의 균형을 이룬다. 더 큰 아키텍처에서는 추가적인 이점이 없다.