[논문 리뷰] Bayesian Optimized Continual Learning with Attention Mechanism

Ju Xu, Jin Ma외 1명|arXiv (Cornell University)|2019. 05. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 6

한 줄 요약

이 논문은 연속 학습에서 각 작업에 대해 최적의 아키텍처 변화를 결정하기 위해 베이지안 최적화를 사용하여 신경망 용량을 동적으로 확장하는 BOCL이라는 연속 학습 프레임워크를 제안한다. 동시에 주의 메커니즘을 활용해 이전 지식을 선택적으로 활용한다. BOCL은 모델 복잡도와 학습 시간을 크게 줄이며, MNIST 및 CIFAR-100에서 PGN, DEN, RCL와 같은 기존 방법들보다 재난적 기억 상실을 방지하고 정확도를 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Though neural networks have achieved much progress in various applications, it is still highly challenging for them to learn from a continuous stream of tasks without forgetting. Continual learning, a new learning paradigm, aims to solve this issue. In this work, we propose a new model for continual learning, called Bayesian Optimized Continual Learning with Attention Mechanism (BOCL) that dynamically expands the network capacity upon the arrival of new tasks by Bayesian optimization and selectively utilizes previous knowledge (e.g. feature maps of previous tasks) via attention mechanism. Our experiments on variants of MNIST and CIFAR-100 demonstrate that our methods outperform the state-of-the-art in preventing catastrophic forgetting and fitting new tasks better.

연구 동기 및 목표

• 새로운 작업을 학습할 때 이전 작업에서 성능이 저하되는 재난적 기억 상실 문제를 해결하기 위해.
• 정규화에 의존하는 고정 아키텍처 방법의 한계를 극복하여 이전 작업과 새로운 작업 간의 성능 트레이드오���을 피하기 위해.
• PGN, DEN, RCL와 같은 확장 가능한 아키텍처 방법을 개선하여 모델 복잡도와 학습 시간을 줄이고 성능을 유지하거나 향상시키기 위해.
• 주의 메커니즘을 통해 새로운 작업에 대해 관련된 이전 지식을 지능적으로 선택하여 불필요한 특징으로 인한 간섭을 방지하기 위해.
• 베이지안 최적화를 통해 네트워크 확장 결정을 최적화하여 중복되는 파rameter를 최소화하고 최적 아키텍처를 빠르게 탐색하기 위해.

제안 방법

• 새로운 작업 도착 시 각 레이어에 추가할 필터 수나 뉴런 수를 결정하는 조합 최적화 문제를 해결하기 위해 베이지안 최적화를 사용한다.
• 수렴 속도를 높이고 시행 횟수를 줄이기 위해 이전 작업의 지식을 활용해 베이지안 최적화 과정을 온전히 시작한다.
• 이전 작업의 특징 맵의 중요도를 학습하는 주의 메커니즘을 통합하여 관련 지식을 선택적이고 효과적으로 전이할 수 있도록 한다.
• 학습 중에 업데이트되는 학습 가능한 주의 가중치를 통해 관련된 이전 지식을 동적으로 우선순위 지정한다.
• 주의 가중치를 적용한 이전 특징과 새로운 작업의 특징을 통합된 네트워크에 통합하여 작업별 대표성을 유지하면서 간섭을 최소화한다.
• 최소한의 평가로 가능한 네트워크 확장의 탐색 공간을 효율적으로 탐색하기 위해 베이지안 최적화에서 가우시안 프로세스 서rogate 모델을 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화가 연속 학습에서 각 새로운 작업에 대해 최적의 네트워크 확장(필터/유닛 수)을 효과적이고 효율적으로 결정할 수 있는가?
• RQ2 주의 메커니즘이 관련된 이전 지식을 선택적으로 활용함으로써 불필요한 특징으로 인한 간섭을 줄이며 성능 향상에 얼마나 기여하는가?
• RQ3 PGN, DEN, RCL와 같은 기존 연속 학습 방법들과 비교했을 때 BOCL은 모델 복잡도, 학습 시간, 정확도 측면에서 어떻게 다른가?
• RQ4 베이지안 최적화와 주의 메커니즘의 조합이 다수의 작업을 거쳐도 더 나은 일반화 성능과 재난적 기억 상실 감소에 기여하는가?
• RQ5 BOCL의 성능는 하이퍼파rameter 설정에 얼마나 민감한가? 다양한 설정에서도 여전히 우수성을 유지하는가?

주요 결과

• CIFAR-100에서 DEN 대비 BOCL은 모델 파arameter를 최대 60%까지 줄였으며, PGN 대비 52% 감소시켜 뚜렷한 효율성 향상을 보였다.
• MNIST 순열 설정에서 BOCL은 RCL 대비 학습 시간을 49% 줄였고, DEN 대비 39% 감소시켜 더 빠른 수렴을 보였다.
• 주의 메커니즘 덕분에 CIFAR-100에서는 테스트 정확도가 2.2% 향상되었고, MNIST 믹스에서는 0.16%, MNIST 순열에서는 0.1% 향상되었으며, 더 복잡한 데이터셋에서 성능 향상이 가장 두드러졌다.
• 같은 파arameter 수로도 BOCL은 RCL, DEN, PGN보다 더 높은 테스트 정확도를 달성하여 파arameter 효율성이 뛰어나다는 것을 입증했다.
• 랜덤 서치나 강화 학습보다도 아키텍처 탐색에서 BOCL이 훨씬 적은 시행 수로 유사한 정확도에 도달했다.
• 모든 평가 기준에서 BOCL은 재난적 기억 상실을 완전히 방지했으며, 많은 후속 작업을 학습한 후에도 첫 번째 작업의 정확도를 높게 유지했다.