[논문 리뷰] Progress & Compress: A scalable framework for continual learning

Jonathan Schwarz, Jelena Luketina외 5명|arXiv (Cornell University)|2018. 05. 16.

Machine Learning and Algorithms인용 수 292

한 줄 요약

이 논문은 '진행(Progress)' 단계—새로운 작업을 학습하기 위한 학습 가능한 활성 컬럼을 통해 수행되는 단계—와 '압축(Compress)' 단계—활성 컬럼의 지식이 고정된 지식 기반에 정밀하게 전달되며, 수정된 탄성 가중치 통합(Elastic Weight Consolidation, EWC)을 통해 이전 기술을 보호하는 단계를 번갈아 가며 수행하는 확장 가능한 지속적 학습 프레임워크인 Progress & Compress(P&C)를 제안한다. 이 방법은 이전 데이터 접근 또는 저장이 불필요한 상수 수준의 파라미터 수를 유지하면서도 순차적 Omniglot 분류 및 강화 학습 작업(Atari, 3D 미로)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a conceptually simple and scalable framework for continual learning domains where tasks are learned sequentially. Our method is constant in the number of parameters and is designed to preserve performance on previously encountered tasks while accelerating learning progress on subsequent problems. This is achieved by training a network with two components: A knowledge base, capable of solving previously encountered problems, which is connected to an active column that is employed to efficiently learn the current task. After learning a new task, the active column is distilled into the knowledge base, taking care to protect any previously acquired skills. This cycle of active learning (progression) followed by consolidation (compression) requires no architecture growth, no access to or storing of previous data or tasks, and no task-specific parameters. We demonstrate the progress & compress approach on sequential classification of handwritten alphabets as well as two reinforcement learning domains: Atari games and 3D maze navigation.

연구 동기 및 목표

• 이전 데이터에 접근하거나 저장하지 않고도 지속적 학습에서 치명적인 망각을 해결하기 위해.
• 이전에 학습한 작업의 특징을 재사용함으로써 긍정적인 전방 이점을 가능하게 하기 위해.
• 작업 수에 관계없이 일정한 수의 파라미터를 유지하는 확장 가능한 방법을 설계하기 위해.
• 기존 방법들—예를 들어 EWC와 지식 정제—의 장점을 하나의 모듈식 프레임워크에 통합하기 위해.
• 지도 학습(Omniglot)과 강화 학습(Atari, 3D 미로) 영역 모두에서 효과성을 입증하기 위해.

제안 방법

• 프레임워크는 두 개의 고정 크기 컴포넌트를 사용한다: 이전에 학습한 기술을 저장하는 지식 기반(KB)과 새로운 작업을 학습하는 데 사용되는 활성 컬럼.
• '진행' 단계 동안 활성 컬럼은 지식 기반(KB)과 계층별 횡방향 연결을 통해 훈련되며, 이는 특징 재사용과 긍정적 전이를 가능하게 한다.
• '압축' 단계 동안 활성 컬럼의 지식은 교사(활성 컬럼)와 학생(KB)의 출력 간 교차 엔트로피 손실을 사용하여 KB에 정제된다.
• 지식 정제 과정 동안 탄성 가중치 통합(EWC)이 KB에 적용되어 이전에 학습한 파라미터가 치명적인 망각을 겪지 않도록 보호된다.
• 활성 컬럼은 각 새로운 작업마다 재초기화되며, 진행과 압축 단계를 번갈아 수행한다.
• 이 방법은 작업 경계에 민감하지 않으며, 작업 레이블이나 데이터 재재생이 필요하지 않다.

실험 결과

연구 질문

• RQ1 기존 데이터 저장 없이도 지속적 학습에서 강력한 전방 이전 전이를 달성하면서 치명적인 망각을 최소화할 수 있는가?
• RQ2 활성 학습과 지식 통합 간의 번갈아 적용이 다수 작업에 걸쳐 성능에 어떤 영향을 미치는가?
• RQ3 고정 크기 아키텍처가 다수의 순차적 작업에 효과적으로 확장될 수 있는가?
• RQ4 지식 정제와 EWC의 조합이 독립적인 EWC나 LwF보다 지속적 학습 환경에서 어떻게 성능을 높이는가?
• RQ5 제안된 방법이 지도 학습과 강화 학습을 포함한 다양한 학습 철학에 일반화되는가?

주요 결과

• 50개의 Omniglot 알파벳에 대해 다섯 번의 재방문 후 평균 테스트 정확도 82.84% ± 1.4를 기록하여, 온라인 EWC와 Progressive Nets를 포함한 모든 베이스라인을 능가했다.
• Atari 게임에서는 Space Invaders, Krull, BeamRider 등의 일부 게임에서 뚜렷한 성능 향상을 보였으며, 다른 게임들에서도 경쟁 가능한 성능을 유지했다.
• 파라미터 수가 일정한 659K를 유지하면서도 Omniglot 및 Atari 벤치마크에서 온라인 EWC(446K 파라미터)와 LwF(217K 파라미터)를 모두 앞서는 성능을 보였다.
• 실험 결과, 정제 과정에서 약간의 망각을 허용하는 것이 성능 향상에 기여함을 확인했으며(γ = 0.99), 안정성과 유연성 사이의 상충 관계를 시사했다.
• 다양한 도메인에서 효과적인 긍정적 전방 이전 전이를 보였으며, 지식 기반(KB)에서의 지식 재사용 덕분에 후속 작업에서 성능 향상이 관찰되었다.
• 작업 레이블이나 데이터 재재생 없이도 강력한 성능를 달성하여, 모호한 작업 경계를 가진 실제 지속적 학습 환경에서의 적용 가능성을 확인했다.