[논문 리뷰] Incremental Few-Shot Learning with Attention Attractor Networks

Mengye Ren, Renjie Liao외 2명|arXiv (Cornell University)|2018. 10. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 30

한 줄 요약

이 논문은 기존의 기본 클래스 성능을 유지하면서 소수의 예시로 새로운 클래스를 학습할 수 있는 인크리멘탈 희소샷 학습을 위한 어텐션 어트랙터 네트워크를 제안한다. 기존 데이터에 대한 재학습 없이 기존 클래스의 특징에 주목하는 정규화 항을 최적화하기 위해 순환적 역전파를 사용함으로써, mini-ImageNet과 tiered-ImageNet에서 최신 기술 수준의 성능을 달성하며 치명적인 잊음 현상을 효과적으로 완화한다.

ABSTRACT

Machine learning classifiers are often trained to recognize a set of pre-defined classes. However, in many applications, it is often desirable to have the flexibility of learning additional concepts, with limited data and without re-training on the full training set. This paper addresses this problem, incremental few-shot learning, where a regular classification network has already been trained to recognize a set of base classes, and several extra novel classes are being considered, each with only a few labeled examples. After learning the novel classes, the model is then evaluated on the overall classification performance on both base and novel classes. To this end, we propose a meta-learning model, the Attention Attractor Network, which regularizes the learning of novel classes. In each episode, we train a set of new weights to recognize novel classes until they converge, and we show that the technique of recurrent back-propagation can back-propagate through the optimization process and facilitate the learning of these parameters. We demonstrate that the learned attractor network can help recognize novel classes while remembering old classes without the need to review the original training set, outperforming various baselines.

연구 동기 및 목표

• 기존에 학습된 기본 클래스의 성능을 유지하면서 소수의 예시로 새로운 클래스를 학습하는 도전 과제를 해결하기 위해.
• 기본 클래스 특징의 기억을 활용해 새로운 클래스에 대한 에피소드 학습을 정규화하는 메타학습 프레임워크를 개발하기 위해.
• 원래 학습 데이터나 전체 재학습에 접근할 수 없어도 효과적인 지속적 학습을 가능하게 하기 위해.
• 인크리멘탈 희소샷 학습 환경에서 일반화 능력을 향상시키고 잊음 현상을 줄이기 위해.

제안 방법

• 에피소드 학습 중 기본 클래스 특징에 주목함으로써 정규화 항을 생성하는 어텐션 어트랙터 네트워크를 제안한다.
• 전체 에피소드 최적화 과정을 통해 기울기를 역전파할 수 있도록 시간에 따라 순환하는 역전파(RBP)를 사용하여 엔드 투 엔드 메타학습을 가능하게 한다.
• 정규화 항이 포함된 반복적 최적화 해법을 사용해 에피소드 분류기를 수렴할 때까지 학습시키며, 이는 어텐션 어트랙터를 통해 유도된다.
• 에피소드 분류기의 빠른 가중치가 기본 클래스 표현 쪽으로 끌려오도록 동적 정규화 항을 학습시어, 잊음 현상을 줄인다.
• 에피소드 간 기대 쿼리 손실을 최소화하기 위해 메타학습자(메타-러닝러)를 사용하며, 어트랙터 네트워크는 정규화 강도를 예측한다.
• 지원 세트와 쿼리 세트를 사용하는 희소샷 학습 설정에서 방법을 적용하며, 지원 세트는 오직 새로운 클래스로 구성되고, 쿼리 세트에는 기본 클래스와 새로운 클래스가 모두 포함된다.

실험 결과

연구 질문

• RQ1 기본 클래스 특징에 주목하는 메타학습 정규화 항이 인크리멘탈 희소샷 학습에서 치명적인 잊음 현상을 줄일 수 있는가?
• RQ2 에피소드 최적화 과정을 전부 역전파하는 순환적 역전파(RBP)가 단순한 BPTT의 절단된 형태나 단일 단계 업데이트보다 더 나은 정규화를 가능하게 하는가?
• RQ3 기본적인 가중치 감소나 정적 어트랙터를 사용하는 기준 모델들과 비교했을 때, 제안된 방법은 표준 희소샷 벤치마크에서 성능이 어떻게 되는가?
• RQ4 어텐션 어트랙터 모델은 다양한 수의 기본 클래스에 대해 일반화될 수 있으며, 지속적 학습 시뮬레이션에서 강건성을 유지할 수 있는가?

주요 결과

• 제안된 어텐션 어트랙터 네트워크는 mini-ImageNet과 tiered-ImageNet 양쪽 모두에서 고정된 가중치 감소나 정적 어트랙터를 사용하는 기준 모델보다 성능이 뛰어나며, 일반화 능력과 잊음 현상 완화 능력이 뛰어나다는 것을 입증한다.
• 순환적 역전파(RBP)는 어트랙터 정규화 항의 효과적인 메타학습을 가능하게 하며, 절단된 BPTT보다 성능이 뛰어나다. 특히 테스트 시 에피소드 학습을 수렴까지 수행할 경우, 절단된 BPTT는 일반화 성능이 떨어진다.
• mini-ImageNet에서 1-shot 및 5-shot 64+5-way 희소샷 학습 설정에서 최신 기술 수준의 성능을 달성하며, 이전 방법들보다 일관된 개선을 보였다.
• 절단 분석 결과, 수동적 가중치 감소 대비 학습된 어트랙터가 기본 클래스 성능 저하를 크게 줄임을 확인했으며, 특히 기본 클래스와 새로운 클래스를 동시에 예측할 때 두드러진 성능 향상이 있었다.
• 시각화 결과 어트랙터 네트워크가 에피소드 분류기 프로토타입을 기본 클래스 표현 쪽으로 끌어당기는 것을 확인했으며, 이는 학습 안정성을 높이는 동적 메모리 메커니즘을 제공한다.
• 기본 클래스 수를 50개에서 150개로 늘일 경우, 백본 표현이 향상되어 전체 정확도가 향상되지만, 200개로 늘어나면서 과제의 복잡도로 인해 성능이 저하되는 경향을 보였다.