[논문 리뷰] Progress & Compress: A scalable framework for continual learning

Jonathan Schwarz, Jelena Luketina외 5명|arXiv (Cornell University)|2018. 05. 16.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 진행 단계에서 새로운 작업을 학습하고, 압축 단계에서 기존 지식을 고정된 지식 기반에 정착시키며 이전 기술을 보호하기 위해 수정된 유연한 무게 통합(EWC) 방법을 사용하는 확장 가능한 지속적 학습 프레임워크인 Progress & Compress(P&C)를 제안한다. 이 방법은 최소한의 무시와 파rameter 증가 없이 강력한 성능을 달성하여 순차적 이미지 분류 및 아케이드 게임과 3D 탐색과 같은 강화학습 과제에서 이전 방법들을 능가한다.

ABSTRACT

We introduce a conceptually simple and scalable framework for continual learning domains where tasks are learned sequentially. Our method is constant in the number of parameters and is designed to preserve performance on previously encountered tasks while accelerating learning progress on subsequent problems. This is achieved by training a network with two components: A knowledge base, capable of solving previously encountered problems, which is connected to an active column that is employed to efficiently learn the current task. After learning a new task, the active column is distilled into the knowledge base, taking care to protect any previously acquired skills. This cycle of active learning (progression) followed by consolidation (compression) requires no architecture growth, no access to or storing of previous data or tasks, and no task-specific parameters. We demonstrate the progress & compress approach on sequential classification of handwritten alphabets as well as two reinforcement learning domains: Atari games and 3D maze navigation.

연구 동기 및 목표

• 지속적 학습에서 새로운 작업을 학습할 때 이전에 학습한 작업을 잊는 '극복성 잊음' 문제를 해결하기 위해.
• 이전에 학습한 작업의 지식을 활용하여 새로운 작업의 학습 속도를 높이는 긍정적 전이를 가능하게 하기 위해.
• 점차 증가하는 수의 작업에 대해 파rameter 증가, 데이터 저장, 또는 작업별 전용 파rameter를 피함으로써 확장성을 확보하기 위해.
• 새로운 관련 작업을 학습한 후 이전 작업의 성능을 향상시켜 배경 전이를 지원하기 위해.
• 작업 레이블이나 명시적 작업 경계가 필요 없이 작동하여 실제의 지속적 학습 환경에 적합하도록 하기 위해.

제안 방법

• 프레임워크는 두 개의 고정 크기의 신경망 구성 요소를 사용한다: 이전에 학습한 기술을 저장하는 지식 기반(KB)과 진행 단계에서 새로운 작업을 학습하는 활성 컬럼(AC).
• 진행 단계 동안은 오직 활성 컬럼의 파라미터만 업데이트되며 지식 기반은 동결된다; 횡방향, 계층별 연결을 통해 지식 기반의 특징을 활성 컬럼이 재사용할 수 있도록 하여 긍정적 전이를 유도한다.
• 압축 단계에서는 활성 컬럼의 정책 또는 예측을 정제하여 지식 기반을 업데이트하며, 극복성 잊음을 방지하기 위해 수정된 EWC 정규화를 사용한다.
• EWC 정규화는 잊음과 통합의 균형을 맞추기 위해 감쇠 인자 γ를 사용하여 온라인으로 적용되며, 정제 과정 중 이전에 학습한 지식을 보호한다.
• 진행 단계와 압축 단계가 번갈아가며 반복되며, 기억 통합을 모방하는 인간의 수면-각성 주기와 유사하다.
• 이 방법은 이전 데이터에 대한 액세스나 저장, 아키텍처 확장, 작업별 전용 파라미터가 필요 없어 많은 수의 작업에 대해 확장 가능하다.

실험 결과

연구 질문

• RQ1 지속적 학습 프레임워크가 과거 데이터 저장 없이 네트워크 크기 증가 없이 극복성 잊음을 최소화하면서도 강력한 전이 성능를 달성할 수 있는가?
• RQ2 진행-압축 사이클을 반복하는 방식이 표준 미세조정 및 정규화 기반 방법에 비해 무시와 학습 속도 측면에서 어떻게 비교되는가?
• RQ3 이 프레임워크는 얼마나 효과적으로 배경 전이를 지원하는가? 즉, 새로운 작업을 학습한 후 이전 작업의 성능 향상 정도는 어떠한가?
• RQ4 감쇠 메커니즘을 적용한 온라인 EWC는 표준 또는 오프라인 EWC에 비해 성능과 안정성 측면에서 향상되는가?
• RQ5 파rameter 폭발이나 성능 저하 없이 많은 수의 작업에 효과적으로 확장 가능한가?

주요 결과

• 순차적 MNIST 및 Omniglot 과제에서 P&C는 다섯 개의 작업 평균 정확도 82.84%를 달성하여 EWC(75.96%)와 온라인 EWC(79.15%)를 능가했으며, 사용한 파라미터 수가 훨씬 적었다.
• 아케이드 게임 강화학습 과제에서 P&C는 여러 게임에서 상당한 성능 향상을 보였으며, 평균 최종 점수는 온라인 EWC를 제외한 모든 베이스라인보다 높았다.
• 이 방법은 효과적인 긍정적 전이를 보였으며, 새로운 관련 작업을 학습한 후 이전 작업의 성능 향상이 관찰되어 성공적인 배경 전이가 이루어졌음을 시사한다.
• 감쇠 인자 γ = 0.99를 사용한 온라인 EWC는 정제 과정 중 통제된 무시를 가능하게 하여 EWC의 제약이 지식 기반에 너무 강하게 작용하는 것을 완화함으로써 전체 성능 향상에 기여했다.
• P&C는 고정된 모델 크기 659K 파라미터를 유지했으며, Progressive Networks(11.1M)보다 훨씬 작고, 작업별 전용 파라미터나 데이터 저장이 필요한 방법들과 달리 많은 수의 작업에 확장 가능했다.
• 실험 결과, 작업을 재접촉할 때 약간의 무시를 允허함(낮은 γ 값으로 설정)이 최종 성능 향상에 기여함을 보여주었으며, 이는 EWC의 제약이 적절히 조정되지 않으면 지나치게 엄격할 수 있음을 시사한다.