[논문 리뷰] Online Continual Learning with Maximal Interfered Retrieval

Rahaf Aljundi, Eugene Belilovsky외 5명|arXiv (Cornell University)|2019. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 206

한 줄 요약

이 논문은 최대 간섭 검색(MIR)이라는 새로운 온라인 지속 학습 방법을 제안한다. MIR는 향후 매개변수 갱신으로 인해 가장 큰 부정적 영향을 받을 것으로 예측되는 메모리에서의 샘플을 선택적으로 검색함으로써 복습을 향상시킨다. 이러한 고간섭 예측 샘플을 복습하는 데에 우선순위를 두어, 치명적 망각을 크게 줄이고 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다. 이는 무작위 및 표준 복습 기반 베이스라인을 능가한다.

ABSTRACT

Continual learning, the setting where a learning agent is faced with a never-ending stream of data, continues to be a great challenge for modern machine learning systems. In particular the online or single-pass through the data setting has gained attention recently as a natural setting that is difficult to tackle. Methods based on replay, either generative or from a stored memory, have been shown to be effective approaches for continual learning, matching or exceeding the state of the art in a number of standard benchmarks. These approaches typically rely on randomly selecting samples from the replay memory or from a generative model, which is suboptimal. In this work, we consider a controlled sampling of memories for replay. We retrieve the samples which are most interfered, i.e. whose prediction will be most negatively impacted by the foreseen parameters update. We show a formulation for this sampling criterion in both the generative replay and the experience replay setting, producing consistent gains in performance and greatly reduced forgetting. We release an implementation of our method at https://github.com/optimass/Maximally_Interfered_Retrieval

연구 동기 및 목표

• 지속적인 데이터 스트림을 통해 과거 예시를 다시 볼 수 없는 온라인 지속 학습 환경에서 치명적 망각을 해결하기 위해.
• 기존의 복습 기반 지속 학습 방법이 저장된 경험을 무작위 또는 히우리스틱 방식으로 샘플링하는 데 의존함을 개선하기 위해.
• 간섭에 민감한 예측 가능한 예측 샘플을 식별하고 우선순위를 정하는 원칙적이고 동적인 샘플링 전략을 개발하기 위해.
• 경험 복습 및 생성 복습 설정 모두에서 표준 지속 학습 벤치마크에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 모델의 향후 매개변수 갱신이 각 저장된 샘플의 예측에 미치는 예상 부정적 영향(간섭)을 예측하는 기반으로 검색 기준을 수립한다.
• 각 메모리 샘플에 대해 간섭 점수를 계산하며, 이는 다음 순전파와 가중치 갱신 후 해당 샘플에 대한 모델 출력이 얼마나 떨어질지를 추정함으로써 이루어진다.
• 경험 복습에서는 저장된 과거 예제 버퍼에서 간섭 점수가 가장 높은 상위-k 샘플을 검색한다.
• 생성 복습에서는 후보를 생성하고, 예측 간섭이 최대인 샘플을 선택함으로써 가장 간섭을 많이 받는 샘플을 검색한다.
• 최소한의 아키텍처 변경으로도 온라인 지속 학습 파이프라인에 원활하게 통합된다.
• 이 방법은 재현 가능性和 커뮤니티 활용을 위해 공개적으로 구현되어 배포되었으며, https://github.com/optimass/Maximally_Interfered_Retrieval 에서 이용할 수 있다.

실험 결과

연구 질문

• RQ1 동적 간섭 인식 샘플링 전략은 온라인 지속 학습에서 복습 성능을 향상시킬 수 있는가?
• RQ2 예측 간섭이 가장 큰 샘플을 우선순위로 삼는 전략은 복습에서 무작위 또는 균일 샘플링과 비교해 어떻게 성능을 높이는가?
• RQ3 제안된 방법은 다양한 벤치마크에서 기존의 복습 기반 접근보다 망각을 더 효과적으로 줄이는가?
• RQ4 간섭 기반 검색 전략은 경험 복습 및 생성 복습 설정 모두에 효과적으로 적용될 수 있는가?
• RQ5 간섭 기반 검색 전략은 장기간의 지속적인 학습 스트림 동안 모델 정확도와 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 최대 간섭 검색(MIR) 방법은 다양한 지속 학습 벤치마크에서 무작위 및 표준 복습 기반 베이스라인보다 일관된 성능 향상을 달성한다.
• 예측 간섭이 가장 큰 샘플을 검색함으로써, 온라인 학습 중 치명적 망각을 크게 줄인다.
• 경험 복습 및 생성 복습 설정 모두에서 기존 최신 기술 수준의 방법들을 능가한다.
• 이 방법은 특히 도전적인 단일 통과 온라인 지속 학습 환경에서 뛰어난 강건성과 효과성을 보여준다.
• 구현 코드는 공개되어 있어 재현 가능성을 보장하고 간섭 인식 지속 학습 분야의 향후 연구를 가능하게 한다.