[논문 리뷰] Ternary Feature Masks: continual learning without any forgetting

Marc Masana, Tinne Tuytelaars외 1명|arXiv (Cornell University)|2020. 01. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 21

한 줄 요약

이 논문은 연속 학습에서 치명적인 잊음 문제를 방지하기 위해 가중치가 아닌 레이어 활성화에 삼항 마스크를 적용하는 Ternary Feature Masks를 소개한다. 이는 최소한의 메모리 오버헤드로 효율적인 지식 재사용을 가능하게 하며, 세분화된 데이터셋과 ImageNet에서 최신 기술을 초월한다.

ABSTRACT

In this paper, we propose an approach without any forgetting to continual learning for the task-aware regime, where at inference the task-label is known. By using ternary masks we can upgrade a model to new tasks, reusing knowledge from previous tasks while not forgetting anything about them. Using masks prevents both catastrophic forgetting and backward transfer. We argue -- and show experimentally -- that avoiding the former largely compensates for the lack of the latter, which is rarely observed in practice. In contrast to earlier works, our masks are applied to the features (activations) of each layer instead of the weights. This considerably reduces the number of mask parameters to be added for each new task; with more than three orders of magnitude for most networks. The encoding of the ternary masks into two bits per feature creates very little overhead to the network, avoiding scalability issues. Our masks do not permit any changes to features which are used by previous tasks. As this may be too restrictive to allow learning of new tasks, we add task-specific feature normalization. This way, already learned features can adapt to the current task without changing the behavior of these features for previous tasks. Extensive experiments on several finegrained datasets and ImageNet show that our method outperforms current state-of-the-art while reducing memory overhead in comparison to weight-based approaches.

연구 동기 및 목표

• 추론 시 작업 식별자가 알려진 작업 인식 설정에서 연속 학습의 치명적인 잊음 문제를 해결하기 위해.
• 가중치에서 특징으로 마스크 적용을 이동시켜 연속 학습에서 메모리 및 파라미터 오버헤드를 줄이기 위해.
• 이전 작업의 지식을 안정적으로 유지하면서 역방향 전이를 고려하지 않기 위해(실제로는 거의 유용하지 않음).
• 최소한의 아키텍처 변경으로 순차적 작업 간 모델 성능을 유지하는 확장성 있고 효율적인 방법을 설계하기 위해.

제안 방법

• 이 방법은 네트워크 가중치가 아닌 각 레이어의 특징맵(활성화)에 삼항 마스크(값 ∈ {-1, 0, 1})를 적용한다.
• 각 마스크는 특징당 오직 두 비트로 인코딩되며, 이는 가중치 기반 마스킹에 비해 파라미터 수를 수백 배 이상 줄인다.
• 이전 작업에서 사용된 특징을 유지하도록 마스크를 설계하여, 특징 수준의 제약 조건을 통해 잊음이 발생하지 않도록 보장한다.
• 새로운 작업에 적응할 수 있도록 작업별 특징 정규화를 도입하여, 이전 작업의 행동을 변경하지 않은 채로 학습된 특징이 새로운 작업에 적응할 수 있도록 한다.
• 이 방법은 오직 새로운 작업에 특화된 특징만 수정되도록 강제하며, 이전에 학습된 표현은 마스크 메커니즘을 통해 고정된 상태를 유지한다.

실험 결과

연구 질문

• RQ1 특징에 기반하여 가중치가 아닌 마스크를 적용함으로써 잊음 없이 연속 학습을 달성할 수 있는가?
• RQ2 가중치 기반 접근법에 비해 활성화에 삼항 마스크를 적용함으로써 메모리 오버헤드가 상당히 감소하는가?
• RQ3 실제로 역방향 전이를 무시할 수 있으며, 치명적인 잊음 방지를 통해 성능이 향상되는가?
• RQ4 작업별 정규화를 통해 이전 작업의 지식을 손상시키지 않으면서도 효과적인 새로운 작업 적응이 가능한가?

주요 결과

• 이 방법은 세분화된 이미지 분류 데이터셋과 ImageNet에서 최신 기술을 초월하는 최고 성능을 달성한다.
• 특징 수준의 마스크 적용 덕분에 가중치 기반 마스킹 방법에 비해 메모리 오버헤드가 3개 이상의 지수 차수만큼 감소한다.
• 특징당 두 비트의 삼항 마스크 사용은 계산 및 저장 오버헤드를 극도로 낮춰 확장성을 향상시킨다.
• 마스크 메커니즘을 통해 오직 새로운 작업에 관련된 구성요소만 수정되도록 제약을 둠으로써 치명적인 잊음이 완전히 방지된다.
• 작업별 정규화를 통해 이전 작업의 특징 행동을 변경하지 않으면서도 효과적인 새로운 작업 적응이 가능하다.