[논문 리뷰] Online Class-Incremental Continual Learning with Adversarial Shapley Value

Dongsub Shim, Zheda Mai외 4명|arXiv (Cornell University)|2020. 08. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 14

한 줄 요약

이 논문은 온라인 클래스 증분 지속 학습을 위한 새로운 메모리 재생 방법인 ASER(대칭 셰플리 값 경험 재생)를 제안한다. 이 방법은 안정성(이전 클래스 경계 유지)과 유연성(새로운 클래스 경계 간섭)을 균형 있게 유지하기 위해 대칭 셰플리 값을 사용해 경험 재생 샘플의 점수를 매긴다. ASER μ는 강건한 변종으로, 소규모 메모리 버퍼를 가진 Mini-ImageNet에서 기준보다 최대 40.2% 높은 정확도 향상을 달성하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

As image-based deep learning becomes pervasive on every device, from cell phones to smart watches, there is a growing need to develop methods that continually learn from data while minimizing memory footprint and power consumption. While memory replay techniques have shown exceptional promise for this task of continual learning, the best method for selecting which buffered images to replay is still an open question. In this paper, we specifically focus on the online class-incremental setting where a model needs to learn new classes continually from an online data stream. To this end, we contribute a novel Adversarial Shapley value scoring method that scores memory data samples according to their ability to preserve latent decision boundaries for previously observed classes (to maintain learning stability and avoid forgetting) while interfering with latent decision boundaries of current classes being learned (to encourage plasticity and optimal learning of new class boundaries). Overall, we observe that our proposed ASER method provides competitive or improved performance compared to state-of-the-art replay-based continual learning methods on a variety of datasets.

연구 동기 및 목표

• 스트리밍 데이터 소스에서 태스크 식별 없이 새로운 클래스를 학습하는 온라인 클래스 증분 지속 학습 환경에서 치명적 기억 상실(catastrophic forgetting) 문제를 해결하기 위해.
• 기존에 학습한 결정 경계를 유지하면서도 새로운 간섭을 유도하는 샘플을 전략적으로 선택함으로써 메모리 재생 선택을 향상시키기 위해.
• 랜덤, MIR 및 기타 최신 기술 수준의 재생 기준보다 뛰어난 안정적이고 효과적인 재생 점수 기반 메커니즘을 개발하기 위해.
• 소규모 메모리 버퍼와 Mini-ImageNet, CIFAR-100과 같은 복잡한 데이터셋을 포함한 현실적인 제약 조건 하에서 성능을 평가하기 위해.
• 셰플리 값 기반의 유틸리티 함수가 지속 학습에서 안정성과 유연성 사이의 균형을 효과적으로 달성할 수 있는지 입증하기 위해.

제안 방법

• 기존에 학습한 클래스와 현재 작업에 대한 모델 성능에 미치는 영향을 기반으로 메모리 샘플의 유효성 평가를 위한 점수 기반 함수로 대칭 셰플리 값(ASV)을 제안한다.
• ASV는 각 메모리 샘플이 이전에 학습한 클래스와 현재 작업에 대해 기여하는 마진널 기여도를 계산하여, 이전 지식을 안정화시키고 새로운 간섭을 방해하는 샘플을 선호한다.
• ASV 점수를 여러 평가 세트에 걸쳐 중앙값 기반 집합으로 통합하여 외곽치에 대한 민감도를 줄이는 강건한 변종인 ASER μ를 도입한다.
• 기본 모델로 축소된 ResNet18을 사용하고, 교차 엔트로피 손실과 함께 SGD를 사용하여 학습하며, 메모리 샘플은 크기가 10인 미니배치 단위로 검색된다.
• 단일 헤드 평가 설정을 사용하여, 태스크 식별 없이 모든 클래스를 분류할 수 있도록 하여 더 현실적인 온라인 학습 환경을 반영한다.
• 기존 데이터의 부분집합을 저장하는 메모리 버퍼를 사용하며, ASV 점수에 따라 동적 교체 및 검색 전략을 안내한다.

실험 결과

연구 질문

• RQ1 셰플리 값 기반 점수 기반 방법이 온라인 클래스 증분 지속 학습에서 메모리 재생 선택을 향상시킬 수 있는가?
• RQ2 소규모 메모리 버퍼 조건에서 ASER는 랜덤 재생, MIR, ER 등 기존의 재생 기준과 비교해 정확도와 기억 상실 측면에서 어떻게 성능을 내는가?
• RQ3 점수 기반 함수에 적대적 간섭을 도입함으로써 안정성은 유지하면서도 융통성(플라스틱리티)을 향상시킬 수 있는가?
• RQ4 강건한 변종인 ASER μ는 복잡한 데이터셋에서 ASV의 외곽치에 대한 민감도를 어떻게 완화할 수 있는가?
• RQ5 ASER를 사용한 메모리 재생은 Mini-ImageNet과 CIFAR-100과 같은 도전적인 데이터셋에서 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 메모리 크기가 1,000개 샘플일 때 ASER μ는 가장 강력한 기준(MIR) 대비 40.2%의 상대적 정확도 향상을 기록한다.
• 메모리 크기가 2,000일 때 ASER μ는 MIR 대비 25.4% 향상되었고, 5,000일 땐 10.3% 향상되었다.
• ASER μ는 모든 데이터셋과 메모리 크기에서 모든 기준을 일관되게 능가하며, 특히 복잡하고 자료가 부족한 환경에서 두각을 나타낸다.
• ASER μ를 사용한 메모리 재생은 EWC와 AGEM과 같은 정규화 기반 방법보다 뚜렷하게 뛰어나며, 이는 심지어 테스트 기반 학습 성능조차 떨어지는 것으로 나타났다.
• 간단한 재생(ER)조차 복잡한 데이터셋에서 경쟁력을 보이며, 이는 지속 학습에서 효과적인 메모리 활용이 매우 중요하다는 점을 시사한다.
• 메모리 크기가 5,000개 샘플을 초과하면(학습 데이터의 10%) 대부분의 재생 기반 방법이 iid-온라인 기준을 뛰어넘으며, 이는 기억 상실을 완화하기 위해 메모리의 가치가 있음을 확인한다.