[논문 리뷰] Information-theoretic Online Memory Selection for Continual Learning

Shengyang Sun, Daniele Calandriello외 3명|arXiv (Cornell University)|2022. 04. 10.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 연속 학습에서 온라인 메모리 선택을 위한 정보이론적 접근을 제안하며, 놀라움과 학습 가능성 기준을 사용하여 정보량이 많고 이상치가 아닌 샘플을 선택한다. 랭크-원 업데이트를 갖춘 베이지안 선형 모델을 활용하여 효율적인 계산을 가능하게 하고, 리저보어 샘플링과 통합하여 InfoRS를 구현함으로써 데이터 불균형에 대한 강건성을 향상시키면서도 낮은 계산 오버헤드를 유지한다.

ABSTRACT

A challenging problem in task-free continual learning is the online selection of a representative replay memory from data streams. In this work, we investigate the online memory selection problem from an information-theoretic perspective. To gather the most information, we propose the extit{surprise} and the extit{learnability} criteria to pick informative points and to avoid outliers. We present a Bayesian model to compute the criteria efficiently by exploiting rank-one matrix structures. We demonstrate that these criteria encourage selecting informative points in a greedy algorithm for online memory selection. Furthermore, by identifying the importance of extit{the timing to update the memory}, we introduce a stochastic information-theoretic reservoir sampler (InfoRS), which conducts sampling among selective points with high information. Compared to reservoir sampling, InfoRS demonstrates improved robustness against data imbalance. Finally, empirical performances over continual learning benchmarks manifest its efficiency and efficacy.

연구 동기 및 목표

• 작업 경계가 알려지지 않은 태스크 프리 연속 학습에서 온라인 메모리 선택의 과제를 해결하기 위해.
• 표준 리저보어 샘플링을 개선하여 더 정보량이 많고 다양한 샘플을 선택하여 데이터 불균형에 대한 모델의 강건성을 향상시키기 위해.
• 랭크-일차 행렬 업데이트를 사용하는 효율적인 베이지안 선형 모델을 활용해 실시간으로 정보이론적 기준을 계산하는 스케일러블한 방법을 개발하기 위해.
• 메모리 업데이트 시점이 연속 학습 성능에 미치는 영향이 크며, 이는 과도하게 이전 데이터를 제거하는 것을 방지하기 위해 지연 또는 선택적 업데이트를 고려해야 한다는 것을 주장하기 위해.

제안 방법

• 놀라움(현재 메모리 기반으로 새로운 샘플이 얼마나 예측 불가능한지)과 학습 가능성(간섭 없이 얼마나 잘 학습될 수 있는지)이라는 두 가지 정보이론적 기준을 제안한다.
• 랭크-일차 행렬의 구조적 업데이트를 활용해 효율적으로 이러한 기준을 계산하기 위해 베이지안 선형 모델을 사용하며, 이로 인해 각 샘플당 O(d)의 시간 복잡도로 계산이 가능해지며, 여기서 d는 특징 차원이다.
• 기록 가능한 정보 기준(MIC)에 기반한 탐욕 알고리즘을 도입하여 대표성 있는 메모리 버퍼를 유지한다.
• 정보 기준에 기반한 무작위 정보이론적 리저보어 샘플러(InfoRS)를 설계하여, 고정보성 포인트에 대해서만 리저보어 샘플링을 적용하고, 정보가 적거나 중복된 샘플은 걸러낸다.
• InfoRS가 표준 리저보어 샘플링과 기울기 기반 선택보다 데이터 불균형에 민감도가 낮게 작동함을 입증한다.
• 예측 분산 기반 기준을 사용하여 정보 양을 평가하며, 베이지안 선형 회귀 하의 사후 예측 분포를 활용한다.

실험 결과

연구 질문

• RQ1 놀라움과 학습 가능성과 같은 정보이론적 기준이 태스크 경계가 없는 온라인 연속 학습에서 메모리 선택을 효과적으로 이끌 수 있는가?
• RQ2 메모리 업데이트의 시점은 연속 학습 성능에 어떤 영향을 미치며, 과도하게 이전 데이터를 제거하는 것을 방지하기 위해 최적화할 수 있는가?
• RQ3 확장 가능한 베이지안 모델이 대규모 연속 학습에서 실시간 사용에 충분히 효율적인 정보 기준을 계산할 수 있는가?
• RQ4 정보 기준을 사용해 리저보어 샘플링을 걸러내는 것이 표준 리저보어 샘플링보다 데이터 불균형에 대한 강건성을 향상시키는가?
• RQ5 제안된 방법이 최소한의 계산 오버헤드로 최신 기술 성능을 달성할 수 있는가?

주요 결과

• InfoRS는 벤치마크 전반에서 뛰어난 연속 학습 성능을 달성하며, 특히 높은 데이터 불균형 상황에서 표준 리저보어 샘플링과 기울기 기반 선택을 능가한다.
• 놀라움과 학습 가능성 기준은 정보량이 많은 샘플을 성공적으로 식별하고 이상치를 거부하여 더 대표성 있는 메모리 버퍼를 만들어낸다.
• 제안된 베이지안 모델은 랭크-일차 업데이트를 통해 각 샘플당 O(d)의 시간 복잡도로 MIC 계산을 효율적으로 수행할 수 있어 온라인 학습에 적합하다.
• 실험 결과에 따르면 InfoRS는 일반 클래스와 희귀 클래스 모두에서 높은 정확도를 유지하며, 데이터 불균형에 대한 강건성이 향상됨을 보여준다.
• 표준 리저보어 샘플링과 비교해 계산 오버헤드가 최소한이므로 실세계 적용에 실용적이다.