[논문 리뷰] Adversarial Shapley Value Experience Replay for Task-Free Continual Learning.

Zheda Mai, Dongsub Shim외 4명|arXiv (Cornell University)|2020. 08. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 안정성과 유연성의 균형을 이루기 위해 적대적 셰플리 값 기반 메모리 샘플 스코어링을 사용하는 작업 없음 지속적 학습을 위한 새로운 방법인 적대적 셰플리 값 경험 재생(ASER)을 제안한다. 기존의 결정 경계를 유지하면서 현재의 결정 경계를 손상시키는 샘플을 우선순위에 올림으로써, ASER는 최신의 경험 재생 방법에 비해 여러 데이터셋에서 경쟁적 또는 우수한 성능을 달성한다.

ABSTRACT

Continual learning is a branch of deep learning that seeks to strike a balance between learning stability and plasticity. In this paper, we specifically focus on the task-free setting where data are streamed online without task metadata and clear task boundaries. A simple and highly effective algorithm class for this setting is known as Experience Replay (ER) that selectively stores data samples from previous experience and leverages them to interleave memory-based and online batch learning updates. Recent advances in ER have proposed novel methods for scoring which samples to store in memory and which memory samples to interleave with online data during learning updates. In this paper, we contribute a novel Adversarial Shapley value ER (ASER) method that scores memory data samples according to their ability to preserve latent decision boundaries for previously observed classes (to maintain learning stability and avoid forgetting) while interfering with latent decision boundaries of current classes being learned (to encourage plasticity and optimal learning of new class boundaries). Overall, we observe that ASER provides competitive or improved performance on a variety of datasets compared to state-of-the-art ER-based continual learning methods.

연구 동기 및 목표

• 작업 경계나 메타데이터가 없는 지속적 학습의 과제를 해결하기 위해.
• 이전에 볼 만한 클래스의 잠재적 결정 경계를 유지함으로써 학습의 안정성을 향상시키기 위해.
• 현재 학습 중인 클래스의 결정 경계를 방해함으로써 유연성을 향상시키기 위해.
• 안정성과 유연성을 균형 잡는 경험 재생을 위한 데이터 스코어링 메커니즘 개발하기 위해.

제안 방법

• ASER는 각 메모리 샘플이 잠재적 결정 경계에 미치는 영향을 기반으로 적대적 셰플리 값을 사용해 샘플을 스코어링한다.
• 기존에 학습된 클래스의 결정 경계를 유지하는 데 기여하는 각 샘플의 영향을 평가한다.
• 동시에 현재 클래스의 결정 경계를 손상시켜 유연성을 증진시키는 영향을 측정한다.
• 이러한 스코어를 경험 재생에 통합하여 온라인 학습 업데이트 중에 고스코어 샘플을 선택하고 번갈아가며 삽입한다.
• 적대적 요소는 분포 이동 상황에서 결정 경계의 강건성을 평가하기 위해 특징을 변형함으로써 발생한다.
• 최종 스코어는 이중 목표 설정을 통해 안정성(구결정 경계 유지)과 유연성(현재 결정 경계 손상)을 균형 잡는다.

실험 결과

연구 질문

• RQ1 적대적 셰플리 값은 작업 없음 지속적 학습에서 메모리 샘플을 효과적으로 스코어링하여 안정성을 향상시키는 데 유용한가?
• RQ2 ASER는 기존의 경험 재생 방법에 비해 이전에 학습된 작업의 성능 유지에 얼마나 효과적인가?
• RQ3 구결정 경계 유지와 현재 결정 경계 손상이라는 이중 목표가 얼마나 높은 유연성 향상에 기여하는가?
• RQ4 ASER는 작업 경계가 없는 다양한 지속적 학습 벤치마크에 일반화되는가?
• RQ5 적대적 변형은 스코어링 메커니즘의 강건성 향상에 어떤 기여를 하는가?

주요 결과

• ASER는 최신의 경험 재생 방법에 비해 여러 지속적 학습 벤치마크에서 경쟁적 또는 향상된 성능을 달성한다.
• 이전에 학습된 클래스의 결정 경계를 효과적으로 유지하여 치명적 기억 상실을 감소시킨다.
• 현재 클래스의 결정 경계를 손상시킴으로써 온라인 업데이트 중 학습 효율성과 유연성이 향상된다.
• 적대적 셰플리 값을 사용함으로써 메모리 내 샘플 선택이 더욱 강건하고 정보량이 풍부해진다.
• 이중 스코어링 메커니즘—안정성과 유연성의 균형—은 작업 경계가 없는 상황에서도 효과적임을 입증한다.
• ASER는 작업 메타데이터가 필요 없이 다양한 데이터셋에서 강력한 일반화 성능을 보여준다.