[논문 리뷰] Model Zoo: A Growing "Brain" That Learns Continually

R. Ramesh, Pratik Chaudhari|arXiv (Cornell University)|2021. 06. 06.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 재난적 잊음 문제를 완화하고 전진 및 후행 전이를 향상시키기 위해 과제별로 특화된 모델의 앙상블을 늘리는 연속 학습 프레임워크인 Model Zoo를 제안한다. AdaBoost에 영감을 받아, 현재 앙상블에서 낮은 정확도를 보인 이전 과제들을 선택하여 신규 과제와 함께 재학습한다. 이로 인해 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 기존 방법 대비 Split-miniImageNet에서 30%의 정확도 향상을 기록하였다.

ABSTRACT

This paper argues that continual learning methods can benefit by splitting the capacity of the learner across multiple models. We use statistical learning theory and experimental analysis to show how multiple tasks can interact with each other in a non-trivial fashion when a single model is trained on them. The generalization error on a particular task can improve when it is trained with synergistic tasks, but can also deteriorate when trained with competing tasks. This theory motivates our method named Model Zoo which, inspired from the boosting literature, grows an ensemble of small models, each of which is trained during one episode of continual learning. We demonstrate that Model Zoo obtains large gains in accuracy on a variety of continual learning benchmark problems. Code is available at https://github.com/grasp-lyrl/modelzoo_continual.

연구 동기 및 목표

• 과제 간 모델 용량 할당 방식을 재고함으로써 연속 학습에서 재난적 잊음을 해결하고자 한다.
• 다양한 과제들이 단일 모델에서 함께 학습될 때, 과제 유사성이 일반화 오차에 미치는 영향을 조사하고자 한다.
• 전방 및 후행 전이를 통해 확장 가능하고 효율적인 연속 학습 방법을 개발하고자 한다.
• 기존 연속 학습 설정의 가정을 도전함으로써, 단순한 개별 학습이 복잡한 연속 학습 방법보다도 성능이 뛰어날 수 있음을 보여주고자 한다.
• 데이터 재학습과 과제 상호작용이 심지어 단일 에포크 설정에서도 성능 향상에 크게 기여할 수 있음을 입증하고자 한다.

제안 방법

• Model Zoo는 각 과제에 특화된 작은 모델의 앙상블을 구성하며, 각 모델는 학습 에포크마다 한 번만 훈련되고 이후로는 업데이트되지 않는다.
• 각 에포크마다, 현재 과제에 대해 새로운 모델를 훈련하고, 현재 앙상블에서 낮은 정확도를 보인 이전 과제의 부분집합을 선택하여 함께 학습한다.
• 이전 과제를 함께 학습에 포함시키는 선택 기준은 AdaBoost에서 영감을 얻었으며, 성능이 열악한 과제를 우선순위로 삼는다.
• 추론 시에는 타겟 과제를 학습한 앙상블 내 모든 모델의 예측을 평균한다.
• 기존 방법들이 부분집합만 또는 생성 모델을 사용해 재학습하는 것과 달리, 이 방법은 이전 과제 데이터를 전부 재학습한다.
• 과제 간 모델 용량을 명시적으로 분리함으로써 간섭을 줄이고, 상호보완적인 과제 관계를 활용한다.

실험 결과

연구 질문

• RQ1 단일 모델에서 여러 과제를 함께 학습시키는 것이 일반화 오차에 어떤 영향을 미치며, 언제 이것이 해로운가?
• RQ2 다양한 모델에 모델 용량을 분할하면 단일 모델 기반 접근법에 비해 연속 학습 성능을 향상시킬 수 있는가?
• RQ3 과제 유사성이 연속 학습에서의 공동 학습 성공에 얼마나 큰 영향을 미치는가?
• RQ4 단순한 개별 학습 베이스라인(각 과제마다 별도의 작은 모델을 훈련)이 복잡한 연속 학습 방법보다 성능이 뛰어나지 않는가?
• RQ5 전체 데이터 재학습과 모델 앙상블의 조합이 잊음 문제를 완화하고 전이 성능을 향상시키는 데 얼마나 효과적인가?

주요 결과

• 연속 학습을 하지 않고도 각 과제마다 별도의 작은 모델을 훈련하는 Isolated learner는 데이터 재학습 없이도 평균 8% 이상 높은 성능을 기록하며 대부분의 기존 연속 학습 방법을 능가한다.
• Model Zoo는 Split-miniImageNet 벤치마크에서 기존 방법 대비 평균 과제 정확도에서 30% 향상된 성능을 달성하였다.
• Model Zoo는 전체 데이터 재학습을 통해 단일 및 다중 에포크 설정 모두에서 Isolated 대비 약 10%의 정확도 향상을 기록하였다.
• 이 방법은 강력한 전진 및 후행 전이를 보이며, 과제 간 효과적인 지식 공유가 이루어지고 있음을 시사한다.
• 큰 모델을 다수 에포크 동안 훈련시켜도 단일 에포크에 훈련된 작은 고립 모델에 비해 성능이 열 劣하므로, 현재의 벤치마크가 충분히 훈련되지 않은 것으로 보인다.
• 실험 결과는 과제가 상호보완적이지 않을 경우 단일 모델 내 과제 경쟁이 성능 저하를 초래함을 보여주며, 과제 유사성에 대한 이론적 분석을 뒷받침한다.