[논문 리뷰] Imbalanced Continual Learning with Partitioning Reservoir Sampling

Chris Dongjoo Kim, Jinseo Jeong외 1명|arXiv (Cornell University)|2020. 09. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 88인용 수 9

한 줄 요약

이 논문은 장기적 데이터 분포에서 다중 레이블 분류를 위한 새로운 재생 기반 지속 학습 방법인 파artitioning 리저보아 샘플링(PRS)을 소개한다. 클래스 빈도에 비례하여 메모리를 할당하고, 클래스 빈도에 따라 재생 버퍼를 분할함으로써 소수의(꼬리) 클래스에 대한 忘却를 크게 줄이며, 새로 촬영한 벤치마크인 COCOseq와 NUS-WIDEseq에서 최신 기술 수준의 성능을 달성한다. 기존 방법 대비 忘却가 10.2% 감소하였다.

ABSTRACT

Continual learning from a sequential stream of data is a crucial challenge for machine learning research. Most studies have been conducted on this topic under the single-label classification setting along with an assumption of balanced label distribution. This work expands this research horizon towards multi-label classification. In doing so, we identify unanticipated adversity innately existent in many multi-label datasets, the long-tailed distribution. We jointly address the two independently solved problems, Catastropic Forgetting and the long-tailed label distribution by first empirically showing a new challenge of destructive forgetting of the minority concepts on the tail. Then, we curate two benchmark datasets, COCOseq and NUS-WIDEseq, that allow the study of both intra- and inter-task imbalances. Lastly, we propose a new sampling strategy for replay-based approach named Partitioning Reservoir Sampling (PRS), which allows the model to maintain a balanced knowledge of both head and tail classes. We publicly release the dataset and the code in our project page.

연구 동기 및 목표

• 장기적 데이터 분포 하에서 지속 학습 중 소수(꼬리) 클래스에서 발생하는 파괴적 忘却 문제를 해결하기 위해.
• 기존의 다중 레이블 데이터셋을 순차적이고 작업 순서가 지정된 벤치마크(COCOseq 및 NUS-WIDEseq)로 확장하여 내부 및 외부 작업 불균형에 대한 체계적인 연구를 가능하게 하기 위해.
• 클래스 빈도에 기반하여 메모리 할당을 전략적으로 수행함으로써 헤드 및 꼬리 클래스 모두의 균형 잡힌 지식 유지 방법을 개발하기 위해.
• 지속 학습을 위한 다중 레이블 분류에서 치명적 忘却와 장기적 분포 문제를 동시에 해결하기 위해.

제안 방법

• 클래스 빈도 기반 파artition(헤드, 중간, 꼬리)으로 재생 버퍼를 분할하여 각 클래스 그룹의 비례적 표현을 보장하는 메모리 할당 전략인 파artitioning 리저보아 샘플링(PRS)을 제안한다.
• 클래스 빈도에 따라 각 파artition에 메모리 용량을 할당하여, 표준 리저보아 샘플링에서 부족하게 나타나는 중간 및 소수 클래스(꼬리)에 더 많은 공간을 할당함으로써 그들의 부족한 표현을 보완한다.
• 각 파artition 내에서 수정된 리저보아 샘플링 알고리즘을 사용하여 각 클래스 그룹의 과거 경험을 균형 잡히고 대표적인 샘플로 유지한다.
• 작업에 종속되지 않는 훈련을 가능하게 하기 위해 공유 출력 헤드를 사용하며, 추론 시 명시적인 작업 레이블이 필요로 하지 않는다.
• 표준 재생 기반 지속 학습 프레임워크에 PRS를 통합하여 경험 재생과 동적 메모리 할당을 결합한다.
• 작업 순서를 다양하게 설정하여, 작업 순서에 대한 강건성을 평가하기 위해 일정 기반 훈련 프로토콜을 사용한다.

실험 결과

연구 질문

• RQ1 장기적 분포가 지속 다중 레이블 학습에서 치명적 忘却를 어떻게 악화시키는가?
• RQ2 기존의 재생 기반 및 정규화 기반 지속 학습 방법들이 소수 클래스에서 성능 유지에 얼마나 실패하는가?
• RQ3 소수 및 중간 클래스를 우선시하는 메모리 할당 전략이 다중 레이블 지속 학습에서 장기적 성능 향상과 忘却 감소에 기여할 수 있는가?
• RQ4 제안된 PRS 방법이 새로 촬영한 순차적 다중 레이블 벤치마크에서 기존의 재생 및 정규화 기반 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ5 PRS의 성능 향상 효과가 다양한 작업 순서 일정과 데이터셋 구성에서 일관되게 유지되는가?

주요 결과

• NUS-WIDEseq 벤치마크에서 PRS는 EWC의 32.8% 忘却 및 ExStream의 55.3% 忘却 대비 10.2% 감소한 전체 忘却를 기록하여 우수한 안정성을 입증하였다.
• COCOseq에서 PRS는 53.2%의 C-F1 점수를 기록하며 단지 25.6%의 忘却를 보였고, EWC(38.9% C-F1, 32.8% 忘却) 및 ExStream(49.7% C-F1, 34.5% 忘却)를 모두 앞서며 우월한 성능을 보였다.
• 표준 리저보아 샘플링 대비 PRS는 꼬리 클래스의 忘却를 30% 이상 감소시켰으며, COCOseq에서 가장 빈도가 낮은 클래스의 F1 점수는 33.5%를 기록했고, CRS의 9.6% 및 GSS의 11.2%에 비해 높았다.
• 모든 작업에서 높은 성능를 유지하였으며, COCOseq에서 첫 번째 작업의 C-F1 점수는 61.9%였고, 마지막 작업의 C-F1 점수는 53.2%였으며, 과거 지식의 강력한 유지가 가능함을 시사한다.
• 다양한 작업 순서에서 일관된 성능 향상을 보였으며, 가장 도전적인 일정(3,1,0,2)에서도 NUS-WIDEseq에서 53.2%의 C-F1 점수와 25.6%의 忘却를 기록하였다.
• 제안된 벤치마크인 COCOseq 및 NUS-WIDEseq는 표준 지속 학습 방법이 소수 클래스에서 심각한 성능 저하를 겪고 있음을 드러내며, PRS와 같은 새로운 방법의 필요성을 입증한다.