[논문 리뷰] Parameter-Level Soft-Masking for Continual Learning

Tatsuya Konishi, Mori Kurokawa외 4명|arXiv (Cornell University)|2023. 06. 26.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 재난적 기억 상실을 방지하면서 자동 지식 전이를 가능하게 하는 새로운 지속적 학습 방법인 파라미터 수준의 그래디언트 흐름에 대한 소프트 마스킹(SPG)을 제안한다. 기존 작업에 대한 각 개별 파라미터의 중요도에 따라 그래디언트 흐름을 동적으로 조정함으로써, 전체 네트워크 용량을 유지하면서도 유사하거나 비유사한 작업 환경 모두에서 베이스라인을 능가하는 정확도를 달성하고, 경직된 하위망 구조의 독점 없이 잊히는 현상을 줄인다.

ABSTRACT

Existing research on task incremental learning in continual learning has primarily focused on preventing catastrophic forgetting (CF). Although several techniques have achieved learning with no CF, they attain it by letting each task monopolize a sub-network in a shared network, which seriously limits knowledge transfer (KT) and causes over-consumption of the network capacity, i.e., as more tasks are learned, the performance deteriorates. The goal of this paper is threefold: (1) overcoming CF, (2) encouraging KT, and (3) tackling the capacity problem. A novel technique (called SPG) is proposed that soft-masks (partially blocks) parameter updating in training based on the importance of each parameter to old tasks. Each task still uses the full network, i.e., no monopoly of any part of the network by any task, which enables maximum KT and reduction in capacity usage. To our knowledge, this is the first work that soft-masks a model at the parameter-level for continual learning. Extensive experiments demonstrate the effectiveness of SPG in achieving all three objectives. More notably, it attains significant transfer of knowledge not only among similar tasks (with shared knowledge) but also among dissimilar tasks (with little shared knowledge) while mitigating CF.

연구 동기 및 목표

• 지식 전이(KT)나 네트워크 용량 소모를 희생시키지 않고 작업 증분 지속적 학습(TIL)에서 재난적 기억 상실(CF)을 해결하기 위해.
• 기존 방법들이 뉴런이나 하위망을 경직된 방식으로 마스킹함으로써 지식 전이를 제한하고 시간이 지남에 따라 성능이 저하되는 한계를 해결하기 위해.
• 그래디언트 기반 중요도 점수에 기반한 소프트 마스킹을 통해 유연하고 세밀한 파라미터 업데이트를 가능하게 하여 네트워크 용량을 유지하고, 유사하거나 비유사한 작업 간의 지식 전이를 가능하게 하기 위해.
• 소프트 마스킹이 정규화나 경직된 마스킹 전략보다 재난적 기억 상실 방지와 지식 전이의 균형을 더 효과적으로 달성할 수 있음을 입증하기 위해.

제안 방법

• SPG는 이전 작업에 대한 각 개별 파라미터의 그래디언트 기반 중요도 점수를 계산하며, 이는 태스크 헤드 간의 교차 헤드 중요도(CHI)를 사용해 그래디언트를 집계함으로써 이루어진다.
• 백프로파게이션 중 그래디언트 흐름에 소프트 마스크를 적용하며, 마스크 값은 파라미터 중요도의 학습 가능한, 미분 가능한 함수로, 부분적인 그래디언트 업데이트를 허용한다.
• 각 헤드에 대한 소프트 마스킹(SMH)을 사용하여 특징 추출기와 분류 헤드 간의 학습을 균형 있게 조절함으로써 안정성과 성능을 향상시킨다.
• HAT나 SupSup와 달리, SPG는 뉴런이나 하위망을 경직된 방식으로 마스킹하지 않으며, 순전파에서 모든 파라미터를 학습 가능한 상태로 유지함으로써 전체 지식 전이가 가능해진다.
• 중요도 점수는 이전 작업의 그래디언트를 사용해 계산되며, 이는 오래된 작업에 핵심적인 파라미터의 업데이트를 동적으로 억제한다.
• 이중 임계값을 사용하지 않고 연속적인 중요도 값만을 사용함으로써, 경직된 마스킹 대비 더 민첩하고 강건한 성능을 제공한다.

실험 결과

연구 질문

• RQ1 파라미터 수준의 소프트 마스킹은 지속적 학습에서 재난적 기억 상실을 효과적으로 방지하면서 지식 전이를 가능하게 할 수 있는가?
• RQ2 정규화 기반 방법(예: EWC)과 비교할 때, 파라미터 수준의 소프트 마스킹은 기억 상실 방지를 위해 얼마나 효과적인가?
• RQ3 SPG는 공통 지식이 극히 적은 비유사 작업 간의 지식 전이를 어느 정도 가능하게 할 수 있는가?
• RQ4 하위망을 독점하는 경직된 마스킹 방법에 비해 소프트 마스킹은 용량 문제를 어느 정도 줄일 수 있는가?
• RQ5 SPG의 개별 구성 요소인 CHI, SMH, 소프트 마스킹은 전체 성능에 각각 어떤 기여를 하는가?

주요 결과

• SPG는 표준 지속적 학습 벤치마크에서 최신 기준 성능을 달성하며, HAT, SupSup, EWC와 같은 강력한 베이스라인을 비해 유사 및 비유사 작업 환경 모두에서 뛰어난 성능을 보였다.
• 비유사 작업을 포함한 C-20 데이터셋에서, CHI 없이 제거한 아블레이션보다 5.5%의 정확도 향상을 기록하여, 기억 상실 완화에 효과적임을 입증했다.
• 소프트 마스킹이 적용된 SPG는 하드 마스킹 버전보다 뚜렷이 뛰어난 성능을 보였으며, 임계값 조정이 필요하고 성능 저하를 초래했던 하드 마스킹 대비 연속적인 소프트 마스킹의 우수성을 입증했다.
• 표현 학습 평가에서, SPG는 100개의 작업 이후에도 TinyImageNet 및 CIFAR100과 같은 비-CL 데이터셋에서 높은 정확도를 유지했고, NCL 및 HAT는 심각한 성능 저하를 보였다.
• 아블레이션 연구를 통해 CHI, SMH, 소프트 마스킹의 세 구성 요소 모두가 긍정적인 기여를 했으며, 특히 I-100에서 SMH가 최대 2.9%의 성능 향상을 이끌어내어 학습 균형 조절에서의 핵심적 역할을 확인했다.
• SPG는 작업 유사도 탐지가 필요 없이 자동으로 지식 전이가 가능하며, CAT와 달리 오분류 유도로 인한 재난적 기억 상실의 위험을 피할 수 있다.