[논문 리뷰] Reducing Representation Drift in Online Continual Learning.

Lucas Caccia, Rahaf Aljundi외 3명|arXiv (Cornell University)|2021. 04. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 5

한 줄 요약

이 논문은 메트릭 학습 기반의 손실 함수를 통해 전략적으로 음성 샘플을 선택함으로써 경험 재생을 개선하여 온라인 지속 학습에서 표현 드리프트를 감소시키는 새로운 접근법을 제안한다. 새로운 클래스가 도입될 때 이전에 본 클래스의 표현을 안정화함으로써, 최소한의 계산 및 메모리 오버헤드로 온라인 지속 학습 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

In the online continual learning paradigm, agents must learn from a changing distribution while respecting memory and compute constraints. Previous work in this setting often tries to reduce catastrophic forgetting by limiting changes in the space of model parameters. In this work we instead focus on the change in representations of observed data that arises when previously unobserved classes appear in the incoming data stream, and new classes must be distinguished from previous ones. Starting from a popular approach, experience replay, we consider metric learning based loss functions which, when adjusted to appropriately select negative samples, can effectively nudge the learned representations to be more robust to new future classes. We show that this selection of negatives is in fact critical for reducing representation drift of previously observed data. Motivated by this we further introduce a simple adjustment to the standard cross entropy loss used in prior experience replay that achieves similar effect. Our approach directly improves the performance of experience replay for this setting, obtaining state-of-the-art results on several existing benchmarks in online continual learning, while remaining efficient in both memory and compute. We release an implementation of our experiments at this https URL

연구 동기 및 목표

• 새로운 클래스가 도입될 때 이전에 본 클래스의 표현이 열악해지는 온라인 지속 학습에서 표현 드리프트를 해결하기 위해.
• 메트릭 학습에서 음성 샘플 선택 방식을 수정함으로써 향후 볼 수 없는 클래스에 대해 학습된 표현의 강건성을 높이기 위해.
• 표준 경험 재생을 단순하지만 효과적인 교차 엔트로피 손실 조정을 통해 향상시켜 표현 드리프트를 감소시키기 위해.
• 메모리 및 계산 효율성을 유지하면서 온라인 지속 학습 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 이 방법은 표현을 안정화하기 위해 이전에 본 클래스들로부터 하드 음성 샘플을 동적으로 선택하는 메트릭 학습 기반의 손실 함수를 도입한다.
• 경험 재생에서 사용되는 표준 교차 엔트로피 손실을 수정하여, 표현 드리프트를 줄이기 위해 선택적 음성 샘플 선택 전략을 통합한다.
• 이 접근법은 새로운 클래스가 도입될 때 오래된 클래스의 표현이 모호하거나 잘 분리되지 않은 표현으로 인해 드리프트가 발생한다는 아이디어를 활용한다.
• 기존 데이터를 저장하는 메모리 버퍼를 사용하고, 재생 중에 개선된 손실 함수를 적용하여 일관된 특징 공간 기하학을 유지한다.
• 음성 샘플 선택 전략은 드리프트를 일으킬 가능성이 가장 높은 샘플을 우선순위로 삼아 오래된 클래스의 표현이 새로운 클래스 간섭에 강건하도록 보장한다.
• 이 방법은 계산적으로 효율적이며, 기존의 온라인 지속 학습 프레임워크와 호환되며, 아키텍처 변경이 필요하지 않다.

실험 결과

연구 질문

• RQ1 메트릭 학습에서 전략적인 음성 샘플 선택이 온라인 지속 학습에서 표현 안정성에 어떤 영향을 미치는가?
• RQ2 표준 교차 엔트로피 손실에 대한 단순한 수정이 계산 비용 증가 없이 표현 드리프트를 감소시킬 수 있는가?
• RQ3 개선된 음성 샘플 선택이 온라인 지속 학습 벤치마크 성능에 얼마나 기여하는가?
• RQ4 제안된 방법은 개념 드리프트에 대한 강건성 측면에서 이전의 경험 재생 접근법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 학습 중에 이전에 본 클래스들로부터 하드 음성 샘플에 집중함으로써 표현 드리프트를 크게 감소시킨다.
• 수정된 교차 엔트로피 손실은 메트릭 학습 기반 방법과 유사한 성능를 달성하지만, 더 간단한 구현과 낮은 계산 오버헤드를 가진다.
• 이 방법은 여러 온라인 지속 학습 벤치마크에서 최고 성능을 기록하며, 표준 경험 재생 및 이전 방법들을 능가한다.
• 이 방법은 높은 효율성을 유지하여 기준 경험 재생 대비 메모리 및 계산 자원의 증가가 매우 미미하다.