[논문 리뷰] RILOD: Near Real-Time Incremental Learning for Object Detection at the Edge

Dawei Li, Şerafettin Taşcı외 4명|arXiv (Cornell University)|2019. 03. 26.

Advanced Neural Network Applications참고 문헌 32인용 수 6

한 줄 요약

RILOD는 기존 클래스 데이터를 재학습하지 않고도 에지 디바이스에서 사용자 맞춤형 객체 검출을 위한 근접 실시간 증분 학습 시스템을 제안한다. 지식 정복 기법을 사용해 치명적인 기억 상실을 방지하면서도 새로운 클래스 데이터만으로 학습한다. 자동화된 실시간 데이터셋 구축 파이프라인을 통해 새로운 클래스당 하루 2분 미만의 학습 시간을 달성하여, 최소한의 정확도 손실로 실용적인 디바이스 내 개인화를 가능하게 한다.

ABSTRACT

Object detection models shipped with camera-equipped edge devices cannot cover the objects of interest for every user. Therefore, the incremental learning capability is a critical feature for a robust and personalized object detection system that many applications would rely on. In this paper, we present an efficient yet practical system, RILOD, to incrementally train an existing object detection model such that it can detect new object classes without losing its capability to detect old classes. The key component of RILOD is a novel incremental learning algorithm that trains end-to-end for one-stage deep object detection models only using training data of new object classes. Specifically to avoid catastrophic forgetting, the algorithm distills three types of knowledge from the old model to mimic the old model's behavior on object classification, bounding box regression and feature extraction. In addition, since the training data for the new classes may not be available, a real-time dataset construction pipeline is designed to collect training images on-the-fly and automatically label the images with both category and bounding box annotations. We have implemented RILOD under both edge-cloud and edge-only setups. Experiment results show that the proposed system can learn to detect a new object class in just a few minutes, including both dataset construction and model training. In comparison, traditional fine-tuning based method may take a few hours for training, and in most cases would also need a tedious and costly manual dataset labeling step.

연구 동기 및 목표

• 기존 모든 클래스 데이터를 재학습하지 않고도 사용자 고유의 객체 클래스를 위한 개인화된 디바이스 내 객체 검출을 가능하게 하는 도전 과제 해결.
• 증분 학습 과정에서 단일 단계 객체 검출기에서 발생하는 치명적인 기억 상실 문제를 지식 정복 기법을 통해 극복.
• 실제 환경에 구현 가능한 종단 간 시스템을 개발하여 에지 전용 또는 에지-클라우드 아키텍처에서 효율적으로 작동하도록 함.
• 웹에서 실시간으로 이미지를 수집하고 바운딩 박스 및 카테고리 레이블을 부여하여 새로운 객체 클래스용 데이터셋을 자동으로 생성.
• 새로운 클래스당 2분 이내의 빠른 증분 학습을 달성하면서도 높은 검출 정확도를 유지함.

제안 방법

• 기존 모델에서 분류 확률, 바운딩 박스 회귀 출력, 중간 특징 표현의 세 가지 유형의 지식을 지식 정복을 통해 전이.
• 기존 클래스의 예측 변화를 제약하기 위해 디스틸레이션 손실을 사용하여 새로운 모델을 새로운 클래스 데이터만으로 학습.
• 웹 크롤링된 이미지에서 후보 객체를 자동으로 탐지하고 국소화하기 위해 사전 학습된 ImageNet 분류기를 활용하여 데이터셋 구축.
• 이미지 다운로드, 바운딩 박스 레이블 생성, 실시간으로 데이터셋을 구성하는 실시간 파이프라인을 구현.
• 에지 전용 및 에지-클라우드 배포를 모두 지원하며, GPU 가속 클라우드 서버에서 학습하거나 Jetson TX2를 사용한 디바이스 내 학습을 가능하게 함.
• 학습 시간을 줄이기 위해 작은 입력 크기(예: 512×512)를 사용하면서도 수용 가능한 정확도를 유지하며, 입력 해상도 영향에 대한 분석 연구를 수행.

실험 결과

연구 질문

• RQ1 기존 학습 데이터에 접근할 수 없는 에지 디바이스에서 기존 데이터 없이 객체 검출을 위한 증분 학습을 효율적으로 수행할 수 있는가?
• RQ2 증분 학습 과정에서 단일 단계 객체 검출기에서 치명적인 기억 상실을 효과적으로 완화할 수 있는가?
• RQ3 웹 이미지에서 실시간으로 수집하고 레이블을 부여한 자동화된 데이터셋 생성이 새로운 클래스에 대해 고정밀도의 바운딩 박스 및 카테고리 레이블을 제공할 수 있는가?
• RQ4 실제 에지 환경에서 새로운 객체 클래스에 대한 증분 학습의 종단 간 학습 지연 시간은 얼마인가?
• RQ5 모델 아키텍처와 입력 해상도는 증분 학습에서 학습 속도와 검출 정확도 사이의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• RILOD는 단일 GPU에서 새로운 객체 클래스에 대해 2분 미만의 증분 학습을 달성하며, 에지-클라우드 환경에서 총 시스템 시간은 119초이다.
• 기존의 피니튜닝 방법에 비해 학습 시간을 38배 단축시켰으며, 일반적으로 몇 시간이 소요되는 전통적 방법에 비해 빠름.
• 입력 크기 512×512를 사용할 경우, 10개의 예시에 대해 에포크당 학습 시간은 8.3초로 증가하고, 30개의 예시에 대해선 14.1초로 선형 증가 추세를 보임.
• 기존 지식을 유지하기 위해 지식 정복을 사용함에도 불구하고, 새로운 클래스 데이터만으로 학습함에도 불구하고 높은 검출 정확도를 유지함.
• 에지-클라우드 환경은 GPU 자원이 우수하여 에지 전용 환경보다 훨씬 빠름. 모델 학습 시간은 83초 대비 Jetson TX2 기준 233초.
• 실시간 데이터셋 생성 파이프라인은 웹 이미지에서 고정밀도의 레이블을 성공적으로 생성하여 수동 레이블링이 필요 없어짐.