[논문 리뷰] Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data

Zhipeng Cai, Ozan Şener외 1명|arXiv (Cornell University)|2021. 08. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 4

한 줄 요약

이 논문은 YFCC100M에서 수집한 지리정보 태그가 부여된 이미지를 사용하여 온라인 지속적 시각 학습을 위한 새로운 벤치마크를 제안하며, 자연적인 분포 이탈 상황에서 기울기 기반 최적화가 오프라인 설정과는 본질적으로 다르게 작동함을 드러낸다. 배치 크기 증가가 학습 효율성과 기억력에 해로운 영향을 미친다는 점을 규명하고, 실제 온라인 지속적 학습 환경에서 성능을 크게 향상시키는 적응형 학습률 및 재생 버퍼 크기 전략을 제안한다.

ABSTRACT

Continual learning is the problem of learning and retaining knowledge through time over multiple tasks and environments. Research has primarily focused on the incremental classification setting, where new tasks/classes are added at discrete time intervals. Such an "offline" setting does not evaluate the ability of agents to learn effectively and efficiently, since an agent can perform multiple learning epochs without any time limitation when a task is added. We argue that "online" continual learning, where data is a single continuous stream without task boundaries, enables evaluating both information retention and online learning efficacy. In online continual learning, each incoming small batch of data is first used for testing and then added to the training set, making the problem truly online. Trained models are later evaluated on historical data to assess information retention. We introduce a new benchmark for online continual visual learning that exhibits large scale and natural distribution shifts. Through a large-scale analysis, we identify critical and previously unobserved phenomena of gradient-based optimization in continual learning, and propose effective strategies for improving gradient-based online continual learning with real data. The source code and dataset are available in: https://github.com/IntelLabs/continuallearning.

연구 동기 및 목표

• 실세계 데이터를 활용한 오프라인에서 온라인 지속적 학습 설정으로의 전환을 통해 지속적 학습에서의 학습 효율성 평가 격차를 해소하기 위해.
• 지리정보 태그가 부여된 이미지를 활용해 대규모이며 자연스럽게 변화하는 시각 벤치마크를 구축하여 실세계의 분포 이탈을 시뮬레이션하기 위해.
• 비정상적인 데이터 분포 하에서 온라인 지속적 학습에서 기울기 기반 최적화의 행동을 경험적으로 분석하기 위해.
• 온라인 지속적 학습 하에서 이전에 관측되지 않은 핵심 현상들—예를 들어 배치 크기의 부정적 영향—을 규명하기 위해.
• 온라인 지속적 학습 환경에서 성능을 향상시키기 위한 학습률 및 재생 버퍼 크기 전략을 제안하기 위해.

제안 방법

• 9년에 걸쳐 분포가 자연스럽게 변화하는 시각 데이터를 시뮬레이션하기 위해 YFCC100M에서 유래한 3900만 개의 지리정보 태그가 부여된 이미지를 사용하여 새로운 벤치마크를 구축한다.
• 모델이 실시간으로 소규모 배치로 데이터를 처리하고 즉각적인 테스트 및 점진적 학습을 수행하는 온라인 지속적 지리 위치 특정을 작업으로 사용한다.
• 시간 단위로 고정된 계산 및 메모리 예산을 적용하여, 작업 경계나 다중 학습 에포크 없이 진정한 온라인 학습을 강제한다.
• First-In-First-Out (FIFO) 버퍼 전략을 사용한 경험 재생을 적용하고, 버퍼 업데이트 정책으로 레저보이어(resevoir) 재생과 비교한다.
• 최적화 안정성과 성능 향상을 위해 적응형 학습률 및 재생 버퍼 크기 적응 알고리즘을 적용한다.
• 경험 재생 유무에 관계없이, 지도 학습과 온라인 지속적 학습 모두에서 배치 크기 영향에 대한 분석을 수행한다.

실험 결과

연구 질문

• RQ1 온라인 지속적 학습에서 자연스럽고 비정상적인 데이터 분포 하에서 기울기 기반 최적화는 오프라인 설정과 비교해 어떻게 작동하는가?
• RQ2 실세계 데이터를 사용한 온라인 지속적 학습에서 배치 크기를 증가시키면 학습 효율성과 정보 기억력에 어떤 영향을 미치는가?
• RQ3 다른 재생 버퍼 업데이트 전략(FIFO 대비 레저보이어)이 온라인 지속적 학습 성능에 어떤 영향을 미치는가?
• RQ4 적응형 학습률 및 재생 버퍼 크기 전략은 분포 이탈 상황에서 온라인 지속적 학습 성능을 향상시킬 수 있는가?
• RQ5 온라인 지속적 학습에서 배치 크기의 부정적 영향은 데이터 특성 때문인가, 아니면 온라인 학습 설정 자체에 기인한 것인가?

주요 결과

• 온라인 지속적 학습에서 배치 크기를 증가시키면, 경험 재생을 사용하더라도 학습 효율성과 정보 기억력에 심각한 악영향을 미친다.
• 경험 재생 없이도 배치 크기의 부정적 영향이 지속되며, 이는 재생 메커니즘의 부작용이 아니라 온라인 지속적 학습 설정 자체에 기인한 본질적인 문제임을 시사한다.
• 혼합된 데이터로 수행하는 지도 학습에서는 이러한 부정적 배치 크기 효과가 관찰되지 않으며, 이는 문제의 특성이 온라인 지속적 학습의 동역학에 특화되어 있음을 시사한다.
• FIFO 및 레저보이어 재생 버퍼 전략은 유사한 성능를 보이며, 어느 쪽이 유의미하게 우월하지 않으며, 단순성 고려로 FIFO를 선택한다.
• 온라인 지속적 학습에서 학습 효율성과 정보 기억력은 상충되는 목표이며, 이를 고려한 최적화의 트레이드오프가 필요하다.
• 적응형 학습률 및 재생 버퍼 크기 전략은 성능을 크게 향상시키며, 분포 이탈 상황에서 최적화 과제를 완화하는 데 효과적임을 입증한다.