[논문 리뷰] Continual Learning on the Edge with TensorFlow Lite

Giorgos Demosthenous, Vassilis Vassiliades|arXiv (Cornell University)|2021. 05. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 13

한 줄 요약

이 논문은 전이 학습 API에 단순한 리플레이 버퍼를 통합하여 텐서플로우 라이트(TensorFlow Lite)에 계속 학습 능력을 도입함으로써, 재난적 forgetting을 방지하면서도 디바이스 내에서 모델을 적응시킬 수 있도록 한다. 이 방법은 모바일 디바이스에서의 점진적 학습 시나리오에서 표준 전이 학습보다 뛰어난 성능을 보이며, 벤치마크 테스트와 실세계 Android 애플리케이션을 통한 검증을 통해 입증된다.

ABSTRACT

Deploying sophisticated deep learning models on embedded devices with the purpose of solving real-world problems is a struggle using today's technology. Privacy and data limitations, network connection issues, and the need for fast model adaptation are some of the challenges that constitute today's approaches unfit for many applications on the edge and make real-time on-device training a necessity. Google is currently working on tackling these challenges by embedding an experimental transfer learning API to their TensorFlow Lite, machine learning library. In this paper, we show that although transfer learning is a good first step for on-device model training, it suffers from catastrophic forgetting when faced with more realistic scenarios. We present this issue by testing a simple transfer learning model on the CORe50 benchmark as well as by demonstrating its limitations directly on an Android application we developed. In addition, we expand the TensorFlow Lite library to include continual learning capabilities, by integrating a simple replay approach into the head of the current transfer learning model. We test our continual learning model on the CORe50 benchmark to show that it tackles catastrophic forgetting, and we demonstrate its ability to continually learn, even under non-ideal conditions, using the application we developed. Finally, we open-source the code of our Android application to enable developers to integrate continual learning to their own smartphone applications, as well as to facilitate further development of continual learning functionality into the TensorFlow Lite environment.

연구 동기 및 목표

• 새로운 클래스가 점진적으로 도착하는 실세계 시나리오에서 디바이스 내 전이 학습의 한계를 해결하기 위해.
• 텐서플로우 라이트를 사용하여 엣지 디바이스에서 직접 계속 학습 능력을 구현하고 평가하기 위해.
• 비이상적인 조건에서 클래스 점진적 학습을 다룰 때 계속 학습이 전이 학습보다 뛰어나다는 것을 입증하기 위해.
• 개발자가 스마트폰 애플리케이션에 계속 학습을 통합할 수 있도록 오픈소스 Android 애플리케이션을 제공하기 위해.
• 텐서플로우 라이트 생태계 내에서 계속 학습의 향후 개선을 위한 기반을 마련하기 위해.

제안 방법

• 기존의 텐서플로우 라이트 전이 학습 API에 모델 헤드에 단순한 리플레이 버퍼를 통합하여 이전 데이터의 일부를 저장하고 재사용할 수 있도록 한다.
• 고정 크기의 버퍼를 사용하여 이전에 학습된 클래스들로부터 대표적인 샘플을 유지함으로써 점진적 학습 중에 데이터를 보존한다.
• 역전파 전에 현재 배치 데이터와 재사용된 샘플을 혼합하여 학습 루프에 리플레이 버퍼를 통합한다.
• CORe50 벤치마크에서 누적, 신규 인스턴스, 신규 클래스의 세 가지 시나리오에서 모델을 훈련하고 평가한다.
• 다양한 이미지 품질과 물체 조건에서 실시간 Android 애플리케이션에 모델을 배포하고 테스트한다.
• 분류 정확도와 신뢰도 점수를 사용하여 모든 시나리오에서 전이 학습 모델과 계속 학습 모델의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 텐서플로우 라이트에서의 전이 학습은 실세계 엣지 배포 환경에서 재난적 forgetting 없이 점진적인 클래스 학습을 처리할 수 있는가?
• RQ2 비이상적이고 실세계 이미지 조건에서 단순한 리플레이 기반 계속 학습 접근법은 전이 학습 대비 어떻게 성능을 발휘하는가?
• RQ3 텐서플로우 라이트의 현재 API 제약 조건을 고려할 때 계속 학습은 모바일 디바이스에서 효과적으로 구현되고 배포될 수 있는가?
• RQ4 부분적 또는 가림된 물체와 같은 도전적인 시각 조건에서 계속 학습 모델의 실패 유형은 무엇인가?
• RQ5 계속 학습 모델이 실패할 경우, 특히 클래스 편향 측면에서 예측 행동은 어떻게 변화하는가?

주요 결과

• 텐서플로우 라이트에서의 전이 학습은 조그만 데이터조차도 신규 클래스가 점진적으로 도입될 경우 기존에 학습된 클래스의 지식을 유지하지 못하고 재난적 forgetting을 보인다.
• 리플레이 버퍼를 갖춘 계속 학습 모델은 CORe50 벤치마크의 모든 시나리오에서 재난적 forgetting을 효과적으로 방지하고 높은 정확도를 유지하며, 새로운 클래스의 경우에도 마찬가지로 성능을 유지를 한다.
• 실세계 Android 애플리케이션에서 계속 학습 모델은 대부분의 클래스에 대해 0.85 이상의 신뢰도 점수를 유지하며, 안경(Glasses) 클래스는 항상 100%의 정확도로 분류된다.
• 모델의 실패 원인은 주요 시각적 특징이 가려졌을 때 주로 발생한다(예: 리모컨 버튼, 컵 손잡이, 병 Stopper). 이는 부분적 또는 가려진 물체에 민감함을 나타낸다.
• 계속 학습 모델이 실패할 경우 항상 마지막으로 학습된 클래스(Glasses)로 일관되게 예측하는 경향이 있으며, 이는 예측 헤드 또는 메모리 버퍼에 잠재적인 편향이 있음을 시사한다.
• 신규 클래스 시나리오에서 계속 학습 모델은 전이 학습 모델이 기억 상실으로 인해 극적으로 실패하는 동안에도 뛰어난 성능을 유지하며 전이 학습을 능가한다.