[논문 리뷰] Online Continual Learning for Embedded Devices

Tyler L. Hayes, Christopher Kanan|arXiv (Cornell University)|2022. 03. 21.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 자원이 제한된 임베디드 장치에서 온라인 지속 학습을 위한 실용적인 기준을 수립하고, 세 가지 고해상도 이미지 데이터셋을 통해 모바일 최적화 CNN을 사용해 일곱 가지 알고리즘을 평가한다. 실제 환경 조건인 클래스 순서 데이터 스트림과 저샘플 학습을 고려할 때, SLDA와 20% 버퍼를 사용한 리플레이가 정확도, 일반화 능력, 효율성 측면에서 최고 성능을 보였다.

ABSTRACT

Real-time on-device continual learning is needed for new applications such as home robots, user personalization on smartphones, and augmented/virtual reality headsets. However, this setting poses unique challenges: embedded devices have limited memory and compute capacity and conventional machine learning models suffer from catastrophic forgetting when updated on non-stationary data streams. While several online continual learning models have been developed, their effectiveness for embedded applications has not been rigorously studied. In this paper, we first identify criteria that online continual learners must meet to effectively perform real-time, on-device learning. We then study the efficacy of several online continual learning methods when used with mobile neural networks. We measure their performance, memory usage, compute requirements, and ability to generalize to out-of-domain inputs.

연구 동기 및 목표

• 제한된 메모리와 계산 능력이 있는 실생활 임베디드 응용 프로그램을 위한 온라인 지속 학습 방법 평가의 격차를 해소한다.
• 현장에서의 지속 학습에 효과적인 핵심 기준을 정의한다: 온라인 추론, 순서에 무관한 학습, 작업 레이블 의존성 제거, 샘플 효율성.
• 다양한 데이터 순서 및 분포 시나리오 하에서 모바일 CNN에서 일곱 가지 온라인 지속 학습 알고리즘을 체계적으로 비교한다.
• 향후 AR/VR, 로봇공학, 개인화 응용 분야에서 엣지 장치에서의 연구를 위한 경험적 기준을 제공한다.
• 여러 데이터셋을 통해 모델 성능, 메모리 사용량, 계산 비용, 그리고 도메인 외 일반화 능력을 평가한다.

제안 방법

• 다섯 개의 모바일 최적화 CNN에서 일곱 가지 온라인 지속 학습 방법—피닝튜닝, 리플레이(2% 및 20% 버퍼), SLDA, 나이브 베이즈, SOvR, NCM, 퍼셉트론—을 평가한다.
• 세 가지 고해상도 이미지 분류 데이터셋인 OpenLORIS, Places-365, Places-Long-Tail을 사용하여 다양한 데이터 분포 하에서 성능을 테스트한다.
• 데이터 스트림을 무작위로(정규 분포) 및 클래스 순서로(기억 상실에 가장 불리한 경우) 나누어 학습하고, 두 경우 모두에서 정확도와 일반화 능력을 측정한다.
• 정규 분포 및 클래스 순서 분포 성능의 조화 평균(H-Mean)을 계산하여 데이터 순서에 대한 강건성을 평가하며, 높은 H-Mean 값은 더 우수한 종합 성능을 의미한다.
• 임베디드 장치에의 구현 가능성을 평가하기 위해 메모리 및 계산 요구량을 측정한다.
• 클래스당 소수의 레이블이 있는 예시를 사용하여 도메인 외 일반화 및 저샘플 학습 성능을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 메모리, 계산 능력, 비정규 분포 데이터 스트림 등 실생활 임베디드 환경 제약 조건 하에서 어떤 온라인 지속 학습 알고리즘이 가장 잘 작동하는가?
• RQ2 작은 비정적 데이터 스트림에서 학습된 다양한 지속 학습 방법이 도메인 외 입력에 대해 어떻게 일반화되는가?
• RQ3 모바일 CNN에서 다양한 지속 학습 알고리즘 간에 정확도, 메모리 사용량, 계산 효율성 간의 상호 상충 관계는 어떠한가?
• RQ4 데이터 순서(예: 클래스 순서 대비 셔플링)는 온라인 지속 학습에서 치명적 기억 상실과 모델 성능에 어떤 영향을 미치는가?
• RQ5 AR/VR 헤드셋과 개인용 로봇과 같은 실시간 임베디드 응용 분야에 구현 가능한 데서 가장 높은 잠재력을 보이는 방법은 무엇인가?

주요 결과

• SLDA는 모든 데이터셋과 데이터 순서에서 가장 높은 조화 평균 정확도(39.3)를 기록하여 데이터 순서에 대한 강건성과 뛰어난 일반화 능력을 입증했다.
• 20% 버퍼를 사용한 리플레이는 두 번째로 높은 H-Mean(37.3)을 기록하여, 제한된 메모리 조건에서도 경험 리플레이가 여전히 효과적임을 보였다.
• 피닝튜닝과 퍼셉트론은 H-Mean 값이 10 이하로 낮아 비정규 분포 데이터 스트림에서 심각한 치명적 기억 상실을 보였다.
• 나이브 베이즈와 SOvR와 같은 방법들은 일관되지만 낮은 성능(H-Mean 9.6–17.8)을 보였으며, 이는 복잡한 시각 작업에 대한 특징 표현 학습 능력의 한계를 보여주었다.
• 모든 방법이 전체 데이터 학습 대비 저샘플 학습 시나리오에서 성능이 저하됨을 확인하여, 더 강력한 소수 샘플 지속 학습 알고리즘이 필요함을 시사했다.
• 본 연구는 경험적 기준을 제공하며, SLDA와 20% 리플레이가 실시간, 현장에서의 지속 학습이 필요한 임베디드 시스템에 배포하기에 최상의 후보로 부상했다.