[논문 리뷰] Maslow's Hammer for Catastrophic Forgetting: Node Re-Use vs Node Activation

Sebastian Lee, Stefano Sarao Mannelli외 3명|arXiv (Cornell University)|2022. 05. 18.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 지속적 학습에서 치명적인 잊음 현상을 설명하기 위해 '마슬로우의 망치' 가설을 제안한다. 이 가설은 노드 재사용과 노드 활성화 사이의 상충 관계로 인해 중간 수준의 작업 유사성 범위에서 가장 심각한 잊음이 발생함을 규명한다. 합성 및 실제 환경 설정에서의 이론적 분석을 통해 최적의 성능는 이러한 두 요소를 균형 있게 조절할 때 달성됨을 보이며, 기존 알고리즘들을 이 관점에서 재해석하여 효과적인 간섭 전략을 도출한다.

ABSTRACT

Continual learning - learning new tasks in sequence while maintaining performance on old tasks - remains particularly challenging for artificial neural networks. Surprisingly, the amount of forgetting does not increase with the dissimilarity between the learned tasks, but appears to be worst in an intermediate similarity regime. In this paper we theoretically analyse both a synthetic teacher-student framework and a real data setup to provide an explanation of this phenomenon that we name Maslow's hammer hypothesis. Our analysis reveals the presence of a trade-off between node activation and node re-use that results in worst forgetting in the intermediate regime. Using this understanding we reinterpret popular algorithmic interventions for catastrophic interference in terms of this trade-off, and identify the regimes in which they are most effective.

연구 동기 및 목표

• 직관적인 기대와는 반대로, 치명적인 잊음이 중간 수준의 작업 유사성 범위에서 가장 심각한 이유를 설명하는 것.
• 이 현상의 근본 원인으로서 노드 재사용과 노드 활성화 사이의 기본적인 상충 관계를 규명하는 것.
• 이 상충 관계를 성능 저하와 연결하는 이론적 프레임워크를 제공하는 것.
• 기존의 지속적 학습 알고리즘들을 이 상충 관계의 관점에서 재해석하여, 그들의 최적 적용 범위를 규명하는 것.

제안 방법

• 노드 재사용과 활성화의 역학을 분리하고 연구하기 위해 합성 티처-스터디 프레임워크를 분석한다.
• 실제 데이터 설정을 활용하여 이론적 발견이 실질적인 지속적 학습 시나리오에서 유효한지 검증한다.
• 이론적 모델링을 통해 노드 재사용(다양한 작업 간에 뉴런을 재사용함)과 노드 활성화(새로운 뉴런을 신규 작업에 사용함) 사이의 상충 관계를 정량화한다.
• 특히 중간 유사성 범위에서 최대 잊음이 발생하는 조건을 도출한다.
• 지식 정착, 시냅스 지능성 등 유명한 지속적 학습 알고리즘들을 이 상충 관계를 조절하는 전략으로 재해석한다.

실험 결과

연구 질문

• RQ1 왜 치명적인 잊음은 작업 간 유사성이 높을 때가 아니라 중간 수준일 때 최대가 되는가?
• RQ2 지속적 학습에서 노드 재사용과 노드 활성화 사이의 관계를 규명하는 데 기여하는 기본 메커니즘은 무엇인가?
• RQ3 기존 뉴런을 재사용하는 것과 새로운 뉴런을 활성화하는 것의 균형이 잊음 비율에 어떻게 영향을 주는가?
• RQ4 기존의 치명적인 잊음 방지 알고리즘 간섭 전략은 어떤 범위에서 가장 효과적인가?

주요 결과

• 노드 재사용과 노드 활성화 사이의 상충 관계로 인해 중간 수준의 작업 유사성 범위에서 치명적인 잊음이 최대가 된다.
• 합성 및 실제 환경 설정에서의 이론적 분석을 통해 이 상충 관계가 잊음 역학의 주요 원인임을 확인한다.
• 노드 재사용은 오래된 지식 유지에 유리하지만 새로운 작업에 대한 유연성을 떨어뜨리며, 노드 활성화는 새로운 작업 학습을 가능하게 하지만 오래된 지식을 잊는 대가를 치르게 된다.
• 시스템이 완전히 재사용하거나 완전히 활성화하지 않을 때 잊음이 최대가 되므로, 이는 균형의 임계점임을 시사한다.
• 지식 정착, 시냅스 지능성 등 기존 알고리즘들이 노드 재사용과 활성화의 균형을 조절함으로써 작동하며, 그 효과는 작업 유사성에 따라 달라진다.