[논문 리뷰] Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics

Vinay Ramasesh, Ethan Dyer외 1명|arXiv (Cornell University)|2020. 07. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 23

한 줄 요약

이 논문은 순차적 훈련이 은닉 표현을 어떻게 왜곡하는지 분석함으로써 신경망에서의 치명적 기억상실(catastrophic forgetting)을 조사한다. 깊이 있는 레이어가 기억상실의 주요 원인임을 발견하였으며, 중간 정도의 의미 유사성을 가진 작업에서 기억상실이 가장 심각하다는 것을 보여주었다. 또한 리플레이와 탄성 가중치 통합(Elastic Weight Consolidation, EWC)과 같은 완화 기법들이 깊은 레이어의 표현을 안정화시켜 효과를 발휘하는 것을 보여주며, 표현 유사도 분석을 통해 이러한 기법들의 효과를 통합적으로 설명한다.

ABSTRACT

A central challenge in developing versatile machine learning systems is catastrophic forgetting: a model trained on tasks in sequence will suffer significant performance drops on earlier tasks. Despite the ubiquity of catastrophic forgetting, there is limited understanding of the underlying process and its causes. In this paper, we address this important knowledge gap, investigating how forgetting affects representations in neural network models. Through representational analysis techniques, we find that deeper layers are disproportionately the source of forgetting. Supporting this, a study of methods to mitigate forgetting illustrates that they act to stabilize deeper layers. These insights enable the development of an analytic argument and empirical picture relating the degree of forgetting to representational similarity between tasks. Consistent with this picture, we observe maximal forgetting occurs for task sequences with intermediate similarity. We perform empirical studies on the standard split CIFAR-10 setup and also introduce a novel CIFAR-100 based task approximating realistic input distribution shift.

연구 동기 및 목표

• 깊은 신경망에서 치명적 기억상실의 근본 원리를 이해하고, 특히 은닉 표현에 어떤 영향을 미치는지 파악하는 것.
• 이전 작업이 네트워크의 모든 레이어에 균일하게 잊혀지는지, 아니면 특정 레이어가 기억상실에 더 기여하는지 조사하는 것.
• 순차적인 작업 간의 표현 유사도가 기억상실 정도에 어떤 영향을 미치는지 살펴보는 것.
• 리플레이, EWC 등 일반적인 기억상실 완화 기법들의 효과를 은닉 표현에 미치는 영향을 통해 평가하고 비교하는 것.
• 입력 분포 이탈을 반영하는 실제적인 벤치마크 작업을 개발하여, 현실 세계에서 흔한 기억상실 원인를 모델링하는 것.

제안 방법

• 은닉 표현의 변화를 분석하기 위해 표현 유사도 측정법(예: CKA)과 계층별 제거(고정/재설정)를 사용한 경험적 분석.
• 실제 세계의 기억상실을 모사하기 위해 계층적 레이블 구조를 활용한 CIFAR-100 기반의 새로운 작업 도입.
• 고정된 특징과 선형 읽기 헤드를 사용한 단순화된 분석 모델을 도입하여, 기억상실이 특징 겹침과 작업 유사도에 어떻게 의존하는지 유도.
• 회전 행렬을 사용해 두 번째 작업의 특징을 명시적으로 회전시켜 표현 유사도를 제어하고 기억상실에 미치는 영향을 시험.
• 표현 안정성에 미치는 영향을 연구하기 위해 리플레이 버퍼와 탄성 가중치 통합(Elastic Weight Consolidation, EWC)과 같은 주요 완화 기법을 적용.
• 이전 작업의 정확도 저하와 훈련 전후의 표현 간 CKA 유사도를 통해 기억상실을 정량적으로 평가.

실험 결과

연구 질문

• RQ1 치명적 기억상실은 신경망의 다양한 레이어에서 은닉 표현에 어떻게 영향을 미치는가?
• RQ2 이전 작업이 네트워크의 모든 파라미터에 균일하게 잊혀지는가, 아니면 특정 레이어가 더 취약한가?
• RQ3 순차적인 작업 간의 의미 유사도는 기억상실 정도에 어떤 영향을 미치는가?
• RQ4 리플레이와 EWC와 같은 기존의 완화 방법들이 깊은 표현을 얼마나 안정화시켜 기억상실을 줄이는가?
• RQ5 입력 분포 이탈을 모델링하는 현실적인 벤치마크 작업은 실제 지속적 학습에서 기억상실의 역학을 더 잘 포착할 수 있는가?

주요 결과

• 순차적 훈련 중에 표현 변화가 가장 크게 발생하는 깊은 레이어가 치명적 기억상실의 주요 원인이다.
• 분석 모델의 예측과 같이, 기억상실 정도는 매우 유사하거나 매우 다름이 없는 작업이 아니라 중간 정도의 의미 유사성 작업에서 최대가 된다.
• 리플레이 버퍼와 탄성 가중치 정규화 모두 깊은 레이어의 표현을 안정화시켜 기억상실을 완화함으로써, 이들의 성공에 대한 통합적 설명을 제공한다.
• 최종 레이어 가중치가 크게 변화하더라도, 초기 데이터와 두 번째 작업 데이터 간의 표현 겹침이 0이면 기억상실을 피할 수 있음을 보여주며, 이는 기억상실을 방지하기 위해 가중치 안정성이 반드시 필요하지 않음을 시사한다.
• 계층적 레이블 구조를 가진 새로운 CIFAR-100 기반 작업은 현실적인 입력 분포 이탈을 성공적으로 모사하며, 기존 벤치마크와 유사한 기억상실 역학을 드러낸다.
• 경험적 결과는 CKA로 측정한 표현 유사도가 기억상실과 강하게 상관됨을 보여주며, 낮은 유사도일수록 기억상실이 적고, 특히 특징이 수직일 경우 더욱 뚜렷하다.