[논문 리뷰] A comprehensive, application-oriented study of catastrophic forgetting in DNNs

Benedikt Pfülb, Alexander Gepperth|arXiv (Cornell University)|2019. 05. 20.

Domain Adaptation and Few-Shot Learning인용 수 58

한 줄 요약

이 논문은 다수의 데이터셋과 SLT에 걸친 순차 학습에서 재앙적 망각(CF)의 대규모 경험적 연구를 DNNs에 대해 제시하고, EWC와 IMM을 포함한 다른 모델의 유효성을 분석한다. 현실적 조건에서도 CF가 지속되며, 실용적인 대책에 대해 논의한다.

ABSTRACT

We present a large-scale empirical study of catastrophic forgetting (CF) in modern Deep Neural Network (DNN) models that perform sequential (or: incremental) learning. A new experimental protocol is proposed that enforces typical constraints encountered in application scenarios. As the investigation is empirical, we evaluate CF behavior on the hitherto largest number of visual classification datasets, from each of which we construct a representative number of Sequential Learning Tasks (SLTs) in close alignment to previous works on CF. Our results clearly indicate that there is no model that avoids CF for all investigated datasets and SLTs under application conditions. We conclude with a discussion of potential solutions and workarounds to CF, notably for the EWC and IMM models.

연구 동기 및 목표

• 메모리, 인과성, 업데이트 복잡성 등 현실 세계의 제약을 반영하는 DNN의 순차 학습에 대한 응용 지향 평가 프로토콜을 동기 부여하고 형식화한다.
• 다양하고 큰 규모의 시각 분류 데이터셋과 순차 학습 과제에 걸쳐 CF를 체계적으로 평가하여 이러한 제약 하에서 어떤 현재 모델도 CF를 피하는지 여부를 판단한다.
• 제안된 프로토콜 하에서 CF 동작 및 실용적 실행 가능성 측면에서 Dropout 변형, LWTA, EWC, IMM 등의 여러 DNN 접근법을 비교한다.
• 일반적인 CF 벤치마크의 한계(예: 순열 기반 SLTs)를 강조하고 적용 조건에서의 해석 및 모델 선택에 대한 지침을 제시한다.

제안 방법

• 일관된 프로토콜 제약 하에 여러 시각 데이터셋으로부터 구성된 각 데이터셋당 두 개의 하위 작업으로 SLTs를 정의한다.
• 텐서플로우 기반 프레임워크를 사용하여 FC, CONV, D-FC, D-CONV with Dropout, LWTA, EWC, IMM 등 여러 DNN 아키텍처를 구현하고 평가한다.
• 첫 번째 하위 작업 D1에서 후보를 선택하기 위해 각 모델에 대한 조합적 하이퍼파라미터 탐색을 수행하고, D2에서 다양한 학습율로 재훈련하여 CF를 평가한다.
• 응용 지향 기준 하에서 D1∪D2 합집합 작업에서 가장 좋거나 마지막 성능으로 증가 학습 품질 q를 정량화하고 CF 없이 D1∪D2에서 훈련된 기준선과 비교한다.
• IMM의 경우 가중치 전이/병합 스킴을 활용하고 α 균형 매개변수에 대한 민감도와 실용적 실행 가능성까지 분석한다.

실험 결과

연구 질문

• RQ1 응용 지향 제약 하에서 광범위한 데이터셋 및 SLT에 걸쳐 재앙적 망각(CF)이 지속되는가?
• RQ2 현실적 자원 및 인과성 제약 하에서 어떤 DNN 접근법(Dropout 변형, EWC, IMM, LWTA)이 CF를 가장 효과적으로 완화하는가?
• RQ3 실제 조건을 존중하는 평가 기준(최고 성능 대 마지막 성능)이 CF 및 모델 효과성에 대한 결론에 어떤 영향을 미치는가?
• RQ4 순열 기반 SLT가 적용 시나리오에서 CF 평가의 신뢰할 수 있는 벤치마크인가?
• RQ5 EWC나 IMM 같은 방법을 현실 세계의 순차 학습 설정에서 실행 가능하게 만드는 실용적 해결책은 무엇인가?

주요 결과

• 제안된 응용 지향 프로토콜 하에서 연구된 데이터셋과 SLT 전반에 걸쳐 모든 모델이 재앙적 망각(CF)을 보인다.
• EWC는 단순한 SLT에 대해서는 CF에 대해 경미한 보호를 제공하지만, 하위작업 크기가 비교 가능한 더 복잡한 SLT(D5-5 타입 작업 등)에는 무효하다.
• IMM은 일반적으로 모델들 중에서 최상의 증가 학습 성능을 달성하지만, 높은 계산 비용과 응용 제약과 상충하는 매개변수 조정으로 인해 실행 가능성이 낮아지는 경우가 많다.
• 순열 기반 SLT(DP10-10)는 어떤 모델에서도 CF를 나타내지 않으므로 이러한 SLT를 CF 벤치마크로 사용할 때 주의가 필요하다.
• 모델 선택(하이퍼파라미터 튜닝)은 응용 시나리오에서 SLT를 훈련하는 데 필수적이며, D1에서의 잘못된 선택이 이후 작업의 성능을 심각하게 저하시킬 수 있다.