[논문 리뷰] Gradient based sample selection for online continual learning

Rahaf Aljundi, Min Lin외 2명|arXiv (Cornell University)|2019. 03. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 79

한 줄 요약

이 논문은 재생 버퍼 채우기를 제약 축소 문제로 공식화하고, 저장된 샘플의 다양성을 최대화하기 위한 그래디언트 기반 대리함수를 도입하여 태스크 경계 없이 온라인 지속 학습을 가능하게 한다. 정확한(IQP) 방법과 저비용의 그리디 방법을 모두 제공하며 벤치마크에서 경쟁력 있는 성과를 보인다.

ABSTRACT

A continual learning agent learns online with a non-stationary and never-ending stream of data. The key to such learning process is to overcome the catastrophic forgetting of previously seen data, which is a well known problem of neural networks. To prevent forgetting, a replay buffer is usually employed to store the previous data for the purpose of rehearsal. Previous works often depend on task boundary and i.i.d. assumptions to properly select samples for the replay buffer. In this work, we formulate sample selection as a constraint reduction problem based on the constrained optimization view of continual learning. The goal is to select a fixed subset of constraints that best approximate the feasible region defined by the original constraints. We show that it is equivalent to maximizing the diversity of samples in the replay buffer with parameters gradient as the feature. We further develop a greedy alternative that is cheap and efficient. The advantage of the proposed method is demonstrated by comparing to other alternatives under the continual learning setting. Further comparisons are made against state of the art methods that rely on task boundaries which show comparable or even better results for our method.

연구 동기 및 목표

• 태스크 경계가 없고 i.i.d.가 아닌 온라인 데이터 스트림에서 지속 학습의 필요성을 동기화한다.
• 재생 버퍼 채우기를 제약 축소 문제로 공식화한다.
• 가능한 해 영역 최소화를 근사하기 위해 그래디언트 다양성에 기반한 대리 목적함수를 도입한다.
• 버퍼 채우기를 위한 효율적인 온라인 알고리즘(IQP 및 그리디)을 제공한다.
• 태스크 경계 가정 없이 벤치마크 지속 학습 데이터세트에서 경쟁력 있는 성능을 보여준다.

제안 방법

• 과거 데이터의 제약 조건을 포함하는 모델 매개변수에 대한 제약 최적화 문제로 지속 학습을 형상화한다.
• 그래디언트 내적을 통해 가능한 영역(feasible region)을 표현하고 고정 크기의 재생 버퍼를 사용해 이를 보존하는 것을 목표로 한다.
• 정규화된 그래디언트 내적의 합을 최소화하여 다양성을 최대화하는 대리 목적함수를 제안한다(Eq. 7).
• 대리 함수를 고체각(solid-angle) 최소화와 관련시키고 그래디언트 방향 분산 최대화와 동등함을 보인다(Eq. 8).
• 대리 목적함수를 최소화하기 위해 제약의 하위 집합(샘플)을 선택하는 정확한 그래디언트 기반 IQP 방법(Algorithm 1)을 제공한다.
• 랜덤 부분집합과의 최대 코사인 유사도에 의해 샘플의 점수를 매기고 버퍼 아이템을 확률적으로 교체하는 더 저비용의 그리디 대안(Algorithm 2)을 제시한다.
• 리허설(정규화)이 제약 최적화와 어떻게 관련되는지 논의하고 접근 방식들을 경험적으로 비교한다.

실험 결과

연구 질문

• RQ1 태스크 경계나 i.i.d. 가정에 대한 지식 없이도 재생 버퍼를 효과적으로 채울 수 있는가?
• RQ2 그래디언트 기반 다양성 기준이 원래 제약 조건이 암시하는 가능 해 영역 최소화를 신뢰할 수 있게 근사하는가?
• RQ3 온라인 그래디언트 기반 선택 방법(IQP 및 그리디)이 계산적으로 실행 가능하고 표준 지속 학습 벤치마크에서 경험적으로 경쟁력 있는가?
• RQ4 제안된 방법들이 비정상적(non-stationary) 데이터 스트림에서 reservoir 샘플링 및 태스크 인지 재생 기준선과 어떻게 비교되는가?

주요 결과

• 그래디언트 기반 대리 함수가 가능 해 영역의 고체각(solid-angle) 측정값과 단조롭게 상관관계가 있어 이를 목표로 사용하는 것이 정당화된다.
• 온라인 그래디언트 기반 방법은 비태스크 경계 설정에서 MNIST 및 CIFAR-10 작업 전반에 걸쳐 랜덤 샘플링 및 여러 클러스터링 기반 기준선보다 우수하다.
• 그리디 변형(GSS-Greedy)은 계산적으로 효율적이며 다른 전략과 비교해 동등하거나 더 나은 성능을 보이며 특히 CIFAR-10에서 그렇다.
• 불균형 데이터 시퀀스에서 reservoir 샘플링과 비교하면 제안된 방법들이 평균 정확도 및 소수 표현 태스크에 대한 견고성을 더 높게 달성한다.
• 이 방법들은 태스크 경계 정보를 사용하지 않아도 GEM, iCaRL 등 일부 태스크 인지 재생 기준선과 유사하거나 더 나은 성능을 달성한다.