[논문 리뷰] Gradient Based Memory Editing for Task-Free Continual Learning

Xisen Jin, Junyi Du외 1명|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 16

한 줄 요약

이 논문은 작업 경계가 없는 지속적 학습 환경에서, 기억 예제를 경사 하강법을 통해 업데이트하여 향후에 잊히는 것을 줄이는 경사 기반 메모리 편집 방법을 제안한다. 기존 기준선과 결합할 경우 다섯 가지 벤치마크에서 성능 향상을 보이며, 작업 경계 정보 없이도 효과적인 유지 보존을 입증한다.

ABSTRACT

Prior work on continual learning often operate in a “task-aware” manner, by assuming that the task boundaries and identifies of the data examples are known at all times. While in practice, it is rarely the case that such information are exposed to the methods (i.e., thus called “task-free”)–a setting that is relatively underexplored. Recent attempts on task-free continual learning build on previous memory replay methods and focus on developing memory construction and replay strategies such that model performance over previously seen examples can be best retained. In this paper, looking from a complementary angle, we propose a novel approach to “edit” memory examples so that the edited memory can better retain past performance when they are replayed. We use gradient updates to edit memory examples so that they are more likely to be “forgotten” in the future. Experiments on five benchmark datasets show the proposed method can be seamlessly combined with baselines to significantly improve the performance.

연구 동기 및 목표

• 작업 정체성이 알려지지 않은 현실적인 작업 경계 없는 환경에서 지속적 학습의 과제를 해결한다.
• 기존의 작업 인식 기반 가정에 의존하는 메모리 재생 방법의 한계를 극복한다.
• 기존에 보았던 데이터에 대한 모델 성능을 향상시키기 위해, 향후에 잊히는 것을 줄이기 위해 메모리 예제를 사전에 수정한다.
• 기존의 지속적 학습 기준선과 원활하게 통합되어 성능을 향상시킬 수 있는 방법을 개발한다.

제안 방법

• 후속 훈련 중에 잊히기 쉬운 저장된 메모리 예제를 업데이트하기 위해 경사 기반 편집 메커니즘을 제안한다.
• 기존 메모리 예제에 대한 경사 업데이트를 통해 향후 치명적인 잊음에 기여도를 최소화한다.
• 메모리 편집 과정을 재훈련 중에 적용하는 가역적 최적화 단계로 공식화한다.
• 메인 훈련 루프를 수정하지 않고도 표준 재훈련 기반 지속적 학습 프레임워크에 편집된 메모리를 통합한다.
• 현재 작업 업데이트에서 유도된 모델 경사 정보를 활용해 과거 메모리 샘플을 수정한다.
• 편집된 메모리 예제가 향후 작업 간섭에 더 잘 견디고 더 잘 대표되는 것을 보장한다.

실험 결과

연구 질문

• RQ1 경사 기반 메모리 예제 편집이 작업 경계 없는 지속적 학습에서 유지 보존을 향상시킬 수 있는가?
• RQ2 작업 경계 정보 없이도 메모리 편집이 치명적인 잊음 감소에 얼마나 효과적인가?
• RQ3 기존 지속적 학습 기준선과 결합했을 때 이 방법이 얼마나 성능 향상에 기여하는가?
• RQ4 제안된 편집 전략이 다양한 지속적 학습 벤치마크에 일반화되는가?

주요 결과

• 제안된 경사 기반 메모리 편집 방법은 작업 경계 없는 지속적 학습 환경에서 다섯 가지 벤치마크 데이터셋에서 성능을 크게 향상시킨다.
• 기존 기준선과 결합했을 때 일관된 성능 향상이 나타나, 높은 호환성과 효과성을 입증한다.
• 메모리 편집은 저장된 예제가 후속 훈련 중에 치명적인 잊음에 덜 민감하도록 하여 향후의 잊음 감소에 기여한다.
• 이러한 사전 편집 기능이 포함되지 않은 표준 메모리 재생 방법보다 성능이 뛰어나다.
• 다양한 데이터 분포와 지속적 학습 시나리오에서 개선 효과가 관찰되어 강건성을 보인다.
• 훈련 중에 작업 정체성 정보가 필요 없이도 과거 지식의 유지 보존이 향상된다.