[논문 리뷰] Saliency Guided Experience Packing for Replay in Continual Learning

Gobinda Saha, Kaushik Roy|arXiv (Cornell University)|2021. 09. 10.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 경험 패킹 및 재생(EPR)을 제안하며, 전체 이미지 대신 모델 예측에 핵심적인 영역인 주목도 유도 이미지 패치를 에피소딕 메모리에 사용하는 지속적 학습 방법이다. 이러한 정보성 있는 패치를 0으로 패ading하고 재생함으로써 EPR는 메모리 효율성을 향상시키고 치명적인 잊음 현상을 줄이며, CIFAR-100, miniImageNet, CUB 데이터셋에서 최소한의 메모리 크기로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Artificial learning systems aspire to mimic human intelligence by continually learning from a stream of tasks without forgetting past knowledge. One way to enable such learning is to store past experiences in the form of input examples in episodic memory and replay them when learning new tasks. However, performance of such method suffers as the size of the memory becomes smaller. In this paper, we propose a new approach for experience replay, where we select the past experiences by looking at the saliency maps which provide visual explanations for the model's decision. Guided by these saliency maps, we pack the memory with only the parts or patches of the input images important for the model's prediction. While learning a new task, we replay these memory patches with appropriate zero-padding to remind the model about its past decisions. We evaluate our algorithm on CIFAR-100, miniImageNet and CUB datasets and report better performance than the state-of-the-art approaches. With qualitative and quantitative analyses we show that our method captures richer summaries of past experiences without any memory increase, and hence performs well with small episodic memory.

연구 동기 및 목표

• 메모리 크기를 늘리지 않고도 에피소딕 메모리의 정보성 향상을 통해 지속적 학습에서 치명적인 잊음 현상을 해결한다.
• 제한된 샘플에서 과적합이 발생하는 작은 메모리 환경에서 경험 재생의 성능 저하 문제를 해결한다.
• 해석 가능한 AI(XAI) 기법, 특히 주목도 맵을 활용해 과거 작업 예측에 가장 관련성이 높은 이미지 영역만 식별하고 저장한다.
• 메모리 용량을 유지하면서도 클래스당 샘플의 다양성을 높일 수 있는 메모리 압축 기법을 설계한다.
• 0으로 패ading한 주목도 기반 패치를 재생할 경우, 전체 이미지 재생 대비 더 나은 일반화 성능과 더 적은 잊음 현상을 보임을 입증한다.

제안 방법

• 각 작업 후 입력 이미지의 국소적 예측 핵심 영역을 식별하기 위해 주목도 맵(예: Grad-CAM)을 사용한다.
• 각 이미지에서 주목도로 강조된 패치만 추출하고, 그들의 공간 좌표와 함께 에피소딕 메모리 버퍼에 저장한다.
• 클래스당 패치 수와 각 패치의 크기를 제어하기 위해 경험 패킹 인자(EPF)를 도입한다.
• 다양한 주목도 패치를 조합하여 각 클래스별 복합 메모리 이미지를 구성함으로써, 메모리 포트폴리오를 늘리지 않고도 다양성을 향상시킨다.
• 새로운 작업 학습 중에 저장된 패치를 검색하고, 원본 이미지 치수로 0으로 패딩한 후 현재 작업 데이터와 함께 공동으로 학습한다.
• 현재 작업 데이터와 0으로 패딩된 메모리 패치에서 유도된 병합 손실에 대해 표준 역전파 및 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 주목도 유도 패치 선택이 메모리 크기를 늘리지 않고도 지속적 학습에서 에피소딕 메모리의 대표성 향상에 기여할 수 있는가?
• RQ2 다양한 메모리 제약 조건 하에서 EPR의 성능이 최신 기술 수준의 경험 재생 방법과 비교해 어떻게 되는가?
• RQ3 주목도 방법의 선택이 제안된 EPR 프레임워크의 성능에 상당한 영향을 미치는가?
• RQ4 전체 이미지 재생 기반 모델 대비 EPR가 과적합과 잊음 현상을 얼마나 줄이는가?
• RQ5 EPR의 계산적 오버헤드는 얼마이며, 주목도 계산 및 0 패딩 연산이 추가됨에도 불구하고 효율성을 유지하는가?

주요 결과

• EPR는 CIFAR-100, miniImageNet, CUB 데이터셋에서 DER++, ER-RING, MEGA-I를 모두 초월하여 최신 기술 수준의 정확도를 달성한다. 모든 메모리 크기에서 동일한 성능을 보였다.
• CIFAR-100에서 EPR는 EPF=2일 때 58.5%의 정확도를 기록했으며, EPF가 이 값 이상으로 증가할수록 성능이 저하됨을 확인하여, 클래스당 최적의 패치 크기 및 수가 존재함을 입증했다.
• miniImageNet에서 최고의 성능은 EPF=3에서 달성되었으며, 이는 패치 크기 및 수가 데이터셋에 따라 달라지며 주목도 맵의 품질과 관련이 있음을 확인했다.
• 에이블레이션 연구에서 EPR 메모리 버퍼로 학습된 모델은 DER++나 ER-RING 버퍼로 학습한 모델보다 더 우수한 일반화 성능을 보였으며, 다중 작업 정확도가 가장 높았다.
• 주목도 방법의 선택에 대해 매우 강건한 성능을 보였으며, Grad-CAM, Grad-CAM++, Smooth-Grad, FullGrad 간 성능 차이는 1% 미만으로 나타났다.
• 표준 ER-RING 대비 약 30%의 추가 학습 시간만 소요되었고, 이에 비해 약 7%의 정확도 향상을 달성하여, 효율적이면서도 효과적인 방법임을 입증했다.