[논문 리뷰] An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks

Ian Goodfellow, Mehdi Mirza외 3명|arXiv (Cornell University)|2014. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 497

한 줄 요약

이 논문은 다양한 아키텍처, 활성화 함수, 그리고 작업 간 관계에서 기울기 기반 신경망에서의 치명적인 잊음(catastrophic forgetting)을 경험적으로 조사한다. 연구 결과, 드롭아웃은 다른 훈련 방법에 비해 이전 지식의 유지와 새로운 작업에의 적응을 균형 있게 이끌어내는 데 항상 뛰어나며, 활성화 함수의 성능은 작업에 따라 크게 달라져 최적의 선택을 위해 교차 검증이 필요하다는 것을 밝혀냈다.

ABSTRACT

Abstract: Catastrophic forgetting is a problem faced by many machine learning models and algorithms. When trained on one task, then trained on a second task, many machine learning models forget how to perform the first task. This is widely believed to be a serious problem for neural networks. Here, we investigate the extent to which the catastrophic forgetting problem occurs for modern neural networks, comparing both established and recent gradient-based training algorithms and activation functions. We also examine the effect of the relationship between the first task and the second task on catastrophic forgetting. We find that it is always best to train using the dropout algorithm--the dropout algorithm is consistently best at adapting to the new task, remembering the old task, and has the best tradeoff curve between these two extremes. We find that different tasks and relationships between tasks result in very different rankings of activation function performance. This suggests the choice of activation function should always be cross-validated.

연구 동기 및 목표

• 순차적 작업 학습 중 현대 신경망에서 치명적인 잊음의 정도를 평가하기 위해.
• 잊음을 완화하는 데 있어 기존 및 최신 기울기 기반 훈련 알고리즘의 성능을 비교하기 위해.
• 작업 간 관계가 잊음 행동에 미치는 영향을 평가하기 위해.
• 다양한 활성화 함수가 유지 및 적응에 미치는 영향을 규명하기 위해.
• 이전 작업을 기억하고 새로운 작업을 학습하는 데 균형을 이룰 수 있는 최적의 훈련 전략을 특정하기 위해.

제안 방법

• 다양한 기울기 기반 최적화 알고리즘을 사용해 여러 작업을 순차적으로 훈련한 신경망에서 경험적 실험을 수행하였다.
• 다양한 작업 간 관계에서 ReLU, ELU 등 다양한 활성화 함수의 성능을 평가하였다.
• 두 번째 작업을 훈련한 후 첫 번째 작업에 대한 정확도를 측정하여 치명적인 잊음을 측정하였다.
• 모든 실험에서 드롭아웃 정규화를 기준선 및 비교 방법으로 사용하였다.
• 성능 곡선을 분석하여 이전 작업 성능 유지와 새로운 작업에의 적응 사이의 트레이드오프를 분석하였다.
• 첫 번째 작업과 두 번째 작업 간 유사성과 겹침을 체계적으로 변화시켜 잊음에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 현대 신경망에서 순차적 훈련 중 치명적인 잊음은 어느 정도 발생하는가?
• RQ2 다양한 기울기 기반 훈련 알고리즘이 잊음을 완화하는 데 어떻게 비교되는가?
• RQ3 첫 번째 작업과 두 번째 작업 간의 관계는 잊음 정도에 어떤 영향을 미치는가?
• RQ4 어느 활성화 함수가 이전 작업 기억과 새로운 작업 학습 사이의 균형을 가장 잘 이루는가?
• RQ5 다양한 작업 쌍에 걸쳐 잊음을 최소화하는 유일한 최적의 훈련 구성이 존재하는가?

주요 결과

• 드롭아웃은 첫 번째 작업의 성능 유지를 유지하면서도 두 번째 작업에 적응하는 데 있어 모든 다른 훈련 알고리즘보다 뛰어난 성능을 보였다.
• 활성화 함수의 성능 순위는 첫 번째 작업과 두 번째 작업 간의 관계에 따라 크게 달라졌다.
• 특정 활성화 함수가 항상 최적의 성능을 보이진 않았으며, 성능은 작업에 매우 의존적이었고, 최적 선택을 위해 교차 검증이 필요했다.
• 드롭아웃을 사용할 경우 이전 작업 기억과 새로운 작업 적응 사이의 트레이드오프가 가장 유리했다.
• 작업 유사성과 겹침은 잊음 비율에 강한 영향을 미쳤으며, 더 유사한 작업일수록 잊음이 적었다.
• 심지어 현대적인 아키텍처에서도 드롭아웃과 같은 적절한 훈련 전략이 적용되지 않으면 치명적인 잊음은 여전히 심각한 문제로 남아 있었다.