[논문 리뷰] Efficient Lifelong Learning with A-GEM

Arslan Chaudhry, Marc’Aurelio Ranzato외 2명|arXiv (Cornell University)|2018. 12. 02.

Advanced Data Compression Techniques인용 수 576

한 줄 요약

A-GEM은 GEM을 평균 그래디언트 제약으로 확장한 효율적인 평생 학습 방법으로, 단일 패스 스트리밍 프로토콜에서 비슷한 성능을 달성하지만 계산 및 메모리 비용이 훨씬 낮으며, 작업 설명자(task descriptors)으로 강화되어 평가됨.

ABSTRACT

In lifelong learning, the learner is presented with a sequence of tasks, incrementally building a data-driven prior which may be leveraged to speed up learning of a new task. In this work, we investigate the efficiency of current lifelong approaches, in terms of sample complexity, computational and memory cost. Towards this end, we first introduce a new and a more realistic evaluation protocol, whereby learners observe each example only once and hyper-parameter selection is done on a small and disjoint set of tasks, which is not used for the actual learning experience and evaluation. Second, we introduce a new metric measuring how quickly a learner acquires a new skill. Third, we propose an improved version of GEM (Lopez-Paz & Ranzato, 2017), dubbed Averaged GEM (A-GEM), which enjoys the same or even better performance as GEM, while being almost as computationally and memory efficient as EWC (Kirkpatrick et al., 2016) and other regularization-based methods. Finally, we show that all algorithms including A-GEM can learn even more quickly if they are provided with task descriptors specifying the classification tasks under consideration. Our experiments on several standard lifelong learning benchmarks demonstrate that A-GEM has the best trade-off between accuracy and efficiency.

연구 동기 및 목표

• 데이터가 스트림으로 도착하고 과거 데이터를 과도하게 재방문하지 않으면서 하이퍼파라미터를 조정하는 현실적인 평생 학습 설정을 제시합니다.
• 성능을 유지하면서 계산 및 메모리를 줄이기 위해 Averaged GEM (A-GEM)이라고 불리는 Gradient Episodic Memory (GEM)의 더 효율적인 대안을 제안합니다.
• 새 학습 프로토콜과 학습 속도 지표(Learning Curve Area, LCA)를 도입하여 모델이 새로운 작업을 얼마나 빨리 습득하는지 평가합니다.
• 전진 전달을 개선하고 평생 학습에서 소수 샷 학습을 향상시키기 위해 구성 가능한 작업 설명자를 사용하는 것을 조사합니다.
• 표준 평생 학습 벤치마크에서 A-GEM을 기준선과 비교하고 작업 설명자의 영향력을 분석합니다.

제안 방법

• 하이퍼파라미터 선택을 위한 불연속 CV 작업 세트와 최종 평가를 위한 EV 작업 세트를 포함하는 새로운 단일 패스 학습 프로토콜을 제안합니다.
• GEM을 각 작업별 제약을 다수에서 하나의 평균 메모리 그래디언트 제약으로 대체하여 A-GEM을 형성합니다.
• 현재 그래디언트 g가 참조 방향 g_ref를 위반하면 ˜g = g - (g^T g_ref / g_ref^T g_ref) g_ref로 투사하는 폐쇄형 그래디언트 투영 규칙을 도출합니다.
• 구성 가능한 작업 설명자를 사용하여 작업 임베딩을 학습하고 작업 간 전방 전달을 가능하게 하는 결합 임베딩 모델을 도입합니다.
• 결합 임베딩에 대해 교차 엔트로피 손실: l_k(θ, ω) = (1/N) Σ_i -log p(y_i^k | x_i^k, t^k; θ, ω) 이고 p(c|x_i^k, t^k; θ, ω)는 임베디드 특징과 작업 설명자에 의해 정의됩니다.
• 계산 이점: A-GEM은 단일 그래디언트 제약과 에피소드 메모리에서 계산된 참조 그래디언트를 사용하여 GEM처럼 큰 QP를 저장하고 푸는 것을 피합니다.

실험 결과

연구 질문

• RQ1 A-GEM이 단일 패스 평생 학습 설정에서 시간 소요 및 메모리 오버헤드를 크게 줄이면서 GEM에 필적하는 정확도를 달성할 수 있을까요?
• RQ2 구성 가능한 작업 설명자의 사용이 평생 학습에서 전진 전달과 소수 샷 학습 성능에 어떤 영향을 미치나요?
• RQ3 새로운 속도 기반 측정 지표(Learning Curve Area)가 작업들 간의 빠른 기술 습득을 의미 있게 측정하나요?
• RQ4 다양한 평가 프로토콜이 평생 학습 방법의 효율성과 효과성에 어떤 영향을 미치나요？

주요 결과

• A-GEM은 평균 정확도와 효율성 사이에서 여러 벤치마크에서 최상의 트레이드오프를 제공하며 GEM보다 훨씬 빠르고 메모리 효율적이면서 성능을 유지하거나 능가합니다.
• 일반화 기반 방법과 비교할 때, A-GEM은 단일 패스 설정에서 더 높은 평균 정확도를 달성합니다.
• 구성 가능한 작업 설명자를 사용하는 결합 임베딩 모델은 A-GEM 및 다른 기준선에서 전진 전달을 개선하고 작업들 간 학습을 가속화합니다.
• 작업 설명자는 제로샷 및 소수 샷 성능을 개선시키며, 결합 임베딩은 시간이 지남에 따라 제로샷 학습에서 지속적인 개선을 보입니다.
• 진행형 네트워크와 GEM은 일부 데이터셋에서 경쟁력 있는 정확도를 보이지만, Progress ive Networks는 메모리 사용량이 훨씬 높고 더 큰 작업 스트림에서 실패할 수 있습니다.