[논문 리뷰] Learning with Long-term Remembering: Following the Lead of Mixed Stochastic Gradient.

Yunhui Guo, Mingrui Liu외 2명|arXiv (Cornell University)|2019. 09. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 6

한 줄 요약

이 논문은 기존 작업의 소규모 에피소딕 메모리에서 유도된 기울기와 현재 작업의 기울기를 균형 있게 조합함으로써 딥 네ural 네트워크에서 치명적인 잊음 현상을 완화하는 새로운 수명 주기 학습 알고리즘 MEGA를 제안한다. 혼합 확률적 기울기 방법을 통해 과거 작업 기울기를 통합함으로써 MEGA는 네 가지 표준 벤치마크에서 오차를 최대 18% 감소시켜 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Current deep neural networks can achieve remarkable performance on a single task. However, when the deep neural network is continually trained on a sequence of tasks, it seems to gradually forget the previous learned knowledge. This phenomenon is referred to as catastrophic forgetting and motivates the field called lifelong learning. The central question in lifelong learning is how to enable deep neural networks to maintain performance on old tasks while learning a new this http URL this paper, we introduce a novel and effective lifelong learning algorithm, calledMixEd stochastic GrAdient (MEGA), which allows deep neural networks to ac-quire the ability of retaining performance on old tasks while learning new tasks.MEGA modulates the balance between old tasks and the new task by integrating the current gradient with the gradient computed on a small reference episodic memory. Extensive experimental results show that the proposed MEGA algorithm significantly advances the state-of-the-art on all four commonly used life-long learning benchmarks, reducing the error by up to 18%.

연구 동기 및 목표

• 새로운 작업을 학습할 때 이전에 학습한 작업에서 성능이 저하되는 수반되는 딥 러닝에서의 치명적인 잊음 현상에 대처하는 것.
• 딥 네ural 네트워크가 새로운 작업을 학습하는 동안 이전 작업의 성능를 유지할 수 있는 방법을 개발하는 것.
• 효과적인 기울기 조절 메커니즘을 통해 수명 주기 학습 시나리오에서 일반화 능력과 안정성을 향상시키는 것.
• 최소한의 계산 오버헤드로 표준 수명 주기 학습 벤치마크에서 최고 성능을 달성하는 것.

제안 방법

• 기존 작업 데이터의 소규모 고정된 에피소딕 메모리에서 계산된 기울기와 현재 작업의 기울기를 조합하는 혼합 확률적 기울기 알고리즘인 MEGA를 도입한다.
• 현재 작업 기울기와 에피소딕 메모리에서 유도된 기준 기울기의 가중 조합을 사용하여 모델 파라미터를 업데이트한다.
• 지속적인 정규화를 위해 과거 데이터 샘플의 소규모이고 대표적인 에피소딕 메모리를 유지한다.
• 학습 가능한 또는 고정된 가중치 설정을 사용하여 과거 작업 기울기와 신규 작업 기울기의 영향을 동적으로 균형 잡는다.
• 모든 이전 데이터를 재생하지 않아도 되는 조건에서 각 훈련 단계에서 기울기 조절을 적용하여 이전 작업의 지식을 유지한다.
• 표준 딥 러닝 프레임워크와의 호환성과 확장성을 확보하기 위해 확률적 최적화 원리를 활용한다.

실험 결과

연구 질문

• RQ1 완전한 이전 데이터 재생이 필요 없이 기울기 기반 방법이 치명적인 잊음 현상을 효과적으로 줄일 수 있는가?
• RQ2 소규모 에피소딕 메모리에서 유도된 기울기를 통합하면 기존 작업과 신규 작업 모두에서 성능이 어떻게 향상되는가?
• RQ3 표준 벤치마크에서 MEGA는 기존의 수명 주기 학습 방법들보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 안정적인 수명 주기 학습을 위해 현재 작업 기울기와 메모리 기반 기울기 사이의 최적 균형은 무엇인가?
• RQ5 MEGA는 다양한 순차적 작업 시퀀스에서 강력한 일반화 성능 유지를 유지하는가?

주요 결과

• MEGA는 네 가지 일반적으로 사용되는 수명 주기 학습 벤치마크에서 모두 최고 성능을 기록하며, 이전 방법들에 비해 일관된 개선을 보였다.
• 제안된 방법은 이전 접근 방식 대비 오차를 최대 18% 감소시켜 치명적인 잊음 현상 완화의 효과성을 입증했다.
• MEGA는 새로운 작업을 학습하는 동안 이전에 학습한 작업의 성능를 높게 유지함으로써 강력한 지식 유지 능력을 보였다.
• 에피소딕 메모리 기반 기울기 통합은 순차적 작업 간에 더 안정적이고 정확한 학습 동역학을 이끌었다.
• 전체 이전 데이터 재생이 아닌 소규모 기준 메모리에 의존함으로써 메모리 오버헤드를 최소화하면서도 뚜렷한 성능 향상을 달성했다.
• 결과적으로, 에피소딕 메모리 기반 기울기 조절 전략이 딥 네ural 네트워크에서의 수명 주기 학습에 확장 가능하고 효과적인 전략임을 확인했다.