[논문 리뷰] Memory Efficient Experience Replay for Streaming Learning

Tyler L. Hayes, Nathan D. Cahill외 1명|arXiv (Cornell University)|2018. 09. 16.

Data Stream Mining Techniques참고 문헌 70인용 수 9

한 줄 요약

이 논문은 지속적 학습에서 깊이 신경망(DNN)을 위한 메모리 효율적인 재훈련 방법인 ExStream을 제안한다. 스트리밍 클러스터링을 통한 적응형 프로토타입 선택을 통해 메모리 사용을 줄이고 치명적인 잊음(catastrophic forgetting)을 방지한다. ExStream은 CluStream과 HPStream과 같은 기준 방법들을 능가하며, 하프 메모리 사용과 초파라미터 조정 없이도 높은 정확도를 달성한다. 특히 비독립identically distributed (non-iid) 데이터 스트림에서 작은 버퍼 제약 조건에서 매우 효과적이다.

ABSTRACT

In supervised machine learning, an agent is typically trained once and then deployed. While this works well for static settings, robots often operate in changing environments and must quickly learn new things from data streams. In this paradigm, known as streaming learning, a learner is trained online, in a single pass, from a data stream that cannot be assumed to be independent and identically distributed (iid). Streaming learning will cause conventional deep neural networks (DNNs) to fail for two reasons: 1) they need multiple passes through the entire dataset; and 2) non-iid data will cause catastrophic forgetting. An old fix to both of these issues is rehearsal. To learn a new example, rehearsal mixes it with previous examples, and then this mixture is used to update the DNN. Full rehearsal is slow and memory intensive because it stores all previously observed examples, and its effectiveness for preventing catastrophic forgetting has not been studied in modern DNNs. Here, we describe the ExStream algorithm for memory efficient rehearsal and compare it to alternatives. We find that full rehearsal can eliminate catastrophic forgetting in a variety of streaming learning settings, with ExStream performing well using far less memory and computation.

연구 동기 및 목표

• 비독립identically distributed (non-iid) 데이터 스트림에서 전체 재훈련 없이 온라인으로 DNN을 훈련할 때 발생하는 치명적인 잊음을 해결하기 위해.
• 제한된 버퍼 용량 조건에서도 높은 성능을 유지할 수 있는 메모리 효율적인 재훈련 전략을 개발하기 위해.
• 다양한 프로토타입 선택 방법(예: 스트리밍 클러스터링, 온라인 k-means 포함)을 평가하고 비교하기 위해.
• 스트리밍 분류를 위한 적응형 프로토타입 저장과 효율적인 DNN 미세조정을 결합한 새로운 프레임워크인 ExStream을 도입하기 위해.
• 완전한 재훈련이 치명적인 잊음을 완전히 제거할 수 있으며, 메모리 효율적인 변형이 자원 사용을 줄이면서도 그 성능을 유지하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• ExStream은 모든 과거 예시를 저장하는 대신, 대표적인 프로토타입의 압축된 집합을 유지하기 위해 스트리밍 클러스터링 알고리즘을 사용한다.
• 온라인 k-means 클러스터링을 적용하여 유사한 데이터 포인트를 동적으로 그룹화하고, 재훈련 메모리로 클러스터 중심점만 저장한다.
• 메모리 사용을 줄이면서도 지식을 유지하기 위해 프로토타입의 대표성과 다양성 기반으로 선택한다.
• 훈련 중에 새로운 데이터와 버퍼에서 선택된 프로토타입의 혼합 배치를 사용하여 DNN을 미세조정한다.
• 버퍼는 근접도와 클러스터 밀도에 따라 오래된 프로토타입을 교체하거나 새로운 포인트를 기존 클러스터에 융합함으로써 업데이트된다.
• ExStream은 데이터 스트림 특성에 따라 스케일링 가능한 고정된 적응형 클러스터링 전략을 사용함으로써 초파라미터 조정을 피한다.

실험 결과

연구 질문

• RQ1 비독립identically distributed (non-iid) 데이터 분포에서 스트리밍 DNN 학습에서 완전한 재훈련이 치명적인 잊음을 완전히 제거할 수 있는가?
• RQ2 다양한 버퍼 크기에서 정확도와 메모리 사용 측면에서 다양한 메모리 효율적인 재훈련 전략 간의 성능을 어떻게 비교할 수 있는가?
• RQ3 ExStream은 iid 및 non-iid 데이터 스트림 설정 모두에서 기존의 스트리밍 클러스터링 및 재훈련 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 버퍼 크기가 제한된 조건에서 프로토타입 선택 전략이 모델 성능에 미치는 영향은 무엇인가?
• RQ5 클래스 간 불균형이 심한 대규모 데이터셋에서, 클래스 간 공통 버퍼를 사용하면 확장성과 성능이 향상되는가?

주요 결과

• 완전한 재훈련은 iCub1, CORe50, CUB-200를 포함한 모든 테스트된 스트리밍 학습 벤치마크에서 치명적인 잊음을 성공적으로 제거했다.
• ExStream은 CluStream과 HPStream보다 정확도에서 뛰어나며, 특히 작은 버퍼 크기에서 두 배로 증가한 성능을 보였고, 이들의 메모리 사용량의 절반만을 차지했다.
• ExStream은 비독립identically distributed (non-iid) 데이터 스트림에서 특히 스트리밍 클러스터링을 통한 프로토타입 선택을 사용할 경우 뛰어난 성능을 달성했다.
• 온라인 k-means와 스트리밍 클러스터링 방법은 FIFO 큐와 같은 단순한 방법과 달리 iid 및 non-iid 데이터 순서 모두에서 일관된 성능을 유지했다.
• 초파라미터 조정을 최소화함으로써 임베디드 장치에의 구현에 실용적이었다.
• CUB-200 데이터셋에서 스트리밍 클러스터링 기법은 작은 버퍼 크기에서도 성능을 크게 향상시켰으며, 이는 자원이 제한된 환경에서의 가치를 입증했다.