[논문 리뷰] Overcoming Catastrophic Forgetting by Neuron-level Plasticity Control

Inyoung Paik, Sangjun Oh외 2명|arXiv (Cornell University)|2019. 07. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 기존의 개별 연결 가중치를 제약하는 것 대신 각 뉴런의 중요도에 기반해 뉴런 수준에서 학습률을 동적으로 조정함으로써 치명적 기억상실을 완화하는 새로운 지속적 학습 방법인 뉴런 수준의 유연성 제어(NPC)를 제안한다. NPC는 iMNIST와 iCIFAR100에서 EWC, MAS, SI와 같은 연결 수준의 통합 방법보다 뛰어나 평균 정확도가 각각 99.63%와 71.87%를 기록하며, 작업별로 전용 가중치 값을 저장할 필요가 없어 메모리 오버헤드를 줄인다.

ABSTRACT

To address the issue of catastrophic forgetting in neural networks, we propose a novel, simple, and effective solution called neuron-level plasticity control (NPC). While learning a new task, the proposed method preserves the knowledge for the previous tasks by controlling the plasticity of the network at the neuron level. NPC estimates the importance value of each neuron and consolidates important extit{neurons} by applying lower learning rates, rather than restricting individual connection weights to stay close to certain values. The experimental results on the incremental MNIST (iMNIST) and incremental CIFAR100 (iCIFAR100) datasets show that neuron-level consolidation is substantially more effective compared to the connection-level consolidation approaches.

연구 동기 및 목표

• 딥 네ural 네트워크에서 순차적 학습이 이전에 학습된 지식을 덮어쓰는 지속적 학습에서의 치명적 기억상실 문제를 해결하기 위해.
• 개별 가중치를 제약하고 작업별 전용 가중치 값을 저장해야 하는 연결 수준의 통합 방법의 한계를 극복하기 위해.
• 뉴런 수준의 중요도에 기반해 동적 학습률 조정을 통해 중요한 뉴런을 통합함으로써 지식 유지성을 향상시키기 위해.
• 각 뉴런당 하나의 중요도 값만 저장함으로써 작업 수와 관계없이 일정한 메모리 사용량을 유지함으로써 메모리 및 계산 오버헤드를 줄이기 위해.
• 딥 러닝에서 가중치 기반 통합 대신 뉴런 수준의 유연성 제어가 더 효과적이고 효율적인 대안이 될 수 있는지 탐색하기 위해.

제안 방법

• NPC는 각 뉴런의 중요도를 학습 과정 중 그 뉴런의 기울기 크기를 사용해 추정하며, 개별 가중치가 아니라 뉴런을 통합의 단위로 간주한다.
• 이전 작업에 더 중요한 뉴런은 낮은 학습률을 적용함으로써 그 학습된 표현을 유지함으로써 유연성 제어를 수행한다.
• 각 뉴런당 하나의 중요도 값만 사용하므로, 다양한 작업 간에 최적화된 가중치의 여러 세트를 저장할 필요가 없다.
• 뉴런 중요도는 학습 과정 전체 동안의 평균 절대 기울기 크기로 계산되며, 이는 뉴런의 이전 작업 성능에 기여하는 정도를 반영한다.
• 손실 함수에 고 중요도 뉴런의 변화를 억제하는 정규화 항이 포함되어 있어 효과적으로 뉴런을 통합한다.
• 표준 backpropagation와 호환되며, 아키텍처 변경 없이 피드포워드 및 컨볼루션 네트워크에 적용 가능하다.

실험 결과

연구 질문

• RQ1 뉴런 수준의 유연성 제어는 기존의 연결 수준의 통합 방법보다 치명적 기억상실을 더 효과적으로 완화할 수 있는가?
• RQ2 뉴런 수준에서의 유연성 제어는 가중치 수준의 정규화보다 이전 작업의 지식 유지에 더 효과적인가?
• RQ3 NPC는 작업별 전용 가중치 값을 저장하지 않아도 여러 작업에서 높은 성능을 유지할 수 있는가? 이는 메모리 오버헤드를 줄이는 데 기여하는가?
• RQ4 NPC 하에서 뉴런의 활성도 변화 분포는 그 뉴런의 중요도와 어떻게 관련이 있는가?
• RQ5 NPC는 iMNIST와 iCIFAR100과 같은 다양한 데이터셋에서, 특히 작업 복잡도가 증가할 경우에도 효과적인가?

주요 결과

• iMNIST 데이터셋에서 NPC는 평균 검증 정확도 99.63% (±0.02)를 기록했으며, EWC(95.42%), MAS(98.76%), SI(97.24%), SSL(96.87%)보다 뚜렷이 뛰어났다.
• iCIFAR100 데이터셋에서 NPC는 평균 정확도 71.87% (±0.65)를 기록했으며, EWC(64.57%), MAS(65.54%), SI(57.91%), SSL(65.16%)를 모두 뛰어넘었으며, 오직 Task 5에서 약간의 낙차가 있었다.
• NPC 하에서 가장 중요한 상위 10% 뉴런의 평균 활성도 변화는 0.094에 불과했고, 전체 뉴런 평균(0.383)보다 훨씬 낮아 중요한 표현의 강력한 유지가 이루어졌음을 시사한다.
• 가장 중요도가 낮은 상위 10% 뉴런의 평균 활성도 변화는 0.667로 전체 평균보다 뚜렷이 높아, 중요도가 낮은 뉴런이 새로운 작업에 더 유연하게 적응함을 보여준다.
• 통합 없이도 뉴런 중요도와 활성도 변화 간에 유의미한 상관관계가 없었으며, 이는 NPC가 중요한 뉴런을 효과적으로 타겟으로 삼고 있음을 확인한다.
• NPC는 작업별 전용 가중치 저장이 필요 없어, 작업 수에 관계없이 일정한 메모리 사용량을 유지한다. 반면 연결 수준 방법은 작업 수에 비례해 선형 증가한다.