[논문 리뷰] Efficient Incremental Learning for Mobile Object Detection

Dawei Li, Şerafettin Taşcı외 4명|arXiv (Cornell University)|2019. 03. 26.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 기존 학습 모델에서 분류, 회귀, 특징 추출 분야의 지식을 정수하여, 기존 데이터에 접근할 필요 없이 재학습 없이도 새로운 객체 클래스를 실시간으로 학습할 수 있도록 하는 효율적인 인크리멘탈 학습 시스템인 IMOD를 제안한다. 실시간으로 데이터를 수집하고 자동으로 레이블을 생성하는 데이터셋 구축 파이프라인을 통해 IMOD는 새로운 클래스를 몇 분 내로 학습시키며, 기존의 피니튜닝 방식이 자주 수시간이 걸리고 수동 레이블링이 필요로 하는 것과 비교해 뚜렷한 성능 향상을 보인다.

ABSTRACT

Object detection models shipped with camera-equipped mobile devices cannot cover the objects of interest for every user. Therefore, the incremental learning capability is a critical feature for a robust and personalized mobile object detection system that many applications would rely on. In this paper, we present an efficient yet practical system, IMOD, to incrementally train an existing object detection model such that it can detect new object classes without losing its capability to detect old classes. The key component of IMOD is a novel incremental learning algorithm that trains end-to-end for one-stage object detection deep models only using training data of new object classes. Specifically, to avoid catastrophic forgetting, the algorithm distills three types of knowledge from the old model to mimic the old model's behavior on object classification, bounding box regression and feature extraction. In addition, since the training data for the new classes may not be available, a real-time dataset construction pipeline is designed to collect training images on-the-fly and automatically label the images with both category and bounding box annotations. We have implemented IMOD under both mobile-cloud and mobile-only setups. Experiment results show that the proposed system can learn to detect a new object class in just a few minutes, including both dataset construction and model training. In comparison, traditional fine-tuning based method may take a few hours for training, and in most cases would also need a tedious and costly manual dataset labeling step.

연구 동기 및 목표

• 배포 후 새로운 객체 클래스를 탐지할 수 없는 모바일 객체 검출기의 한계를 해결하기 위해.
• 모바일 기기에서 실시간으로 자동으로 데이터를 수집하고 레이블을 생성함으로써 수동 데이터셋 레이블링이 필요 없도록 하기 위해.
• 기존에 학습된 클래스의 정확도를 유지하면서도, 자원이 제한된 환경에서의 인크리멘탈 학습 중 치명적인 잊음 현상을 방지하기 위해.
• 기존 데이터 재학습이나 전체 재학습이 필요 없이, 오직 새로운 클래스 데이터만을 사용하여 효율적인 엔드 투 엔드 학습을 달성하기 위해.

제안 방법

• 기존 모델에서 분류, 바운딩 박스 회귀, 특징 추출의 세 가지 유형의 지식을 새로운 모델로 정수하는 새로운 인크리멘탈 학습 알고리즘을 설계하기 위해.
• 기존 모델의 행동을 새로운 데이터에 대해서도 유지함으로써 안정성을 확보하고 잊음 현상을 최소화하기 위해 지식 정수를 적용하기 위해.
• 기기 내에서 이미지를 수집하고 자동으로 카테고리 및 바운딩 박스 레이블을 생성하는 실시간 데이터셋 구축 파이프라인을 구현하기 위해.
• 기기 전용 및 기기-클라우드 배포를 모두 지원하여 기기 성능에 따라 유연성과 확장성을 확보하기 위해.
• 기존 데이터 재학습이나 전체 재학습이 필요 없이, 오직 새로운 클래스 데이터만을 사용하여 모델을 엔드 투 엔드로 학습시키기 위해.
• 인크리멘탈 학습 후 실시간 검출이 가능한 경량이고 모바일 친화적인 추론 파이프라인에 시스템을 통합하기 위해.

실험 결과

연구 질문

• RQ1 기존 학습 데이터에 접근할 수 없는 조건에서, 기존 데이터가 없는 새로운 객체 클래스를 모바일 객체 검출기에서 학습시킬 수 있는 인크리멘탈 학습 시스템을 설계할 수 있는가?
• RQ2 자원이 제한된 모바일 기기에서, 한 단계 검출기에서 인크리멘탈 학습 중에 치명적인 잊음 현상을 효과적으로 완화할 수 있는가?
• RQ3 기기 내에서 실시간으로 데이터를 수집하고 자동으로 레이블을 생성하는 방식이, 모바일 객체 검출에서 수동 레이블링의 필요성을 얼마나 줄일 수 있는가?
• RQ4 수동 데이터 레이블링이 필요한 전통적인 피니튜닝 방법과 비교해, 제안된 방법은 학습 속도와 정확도에서 어떤가?
• RQ5 최소한의 계산 및 메모리 오버헤드로 새로운 클래스와 이전에 학습된 클래스 모두에서 높은 검출 성능을 달성할 수 있는가?

주요 결과

• IMOD는 데이터셋 구축과 모델 학습을 포함해 새로운 객체 클래스를 몇 분 내로 학습시킬 수 있으며, 기존의 피니튜닝 방식보다 뚜렷이 빠르게 작동한다.
• 시스템은 새로운 클래스뿐 아니라 이전에 학습된 클래스 모두에서 높은 정확도를 달성하여, 다중 수준의 지식 정수를 통해 치명적인 잊음 현상을 효과적으로 완화함을 입증한다.
• 실시간으로 데이터셋을 구축하는 파이프라인은 인간의 간섭 없이도 고품질의 자동으로 레이블이 부여된 학습 데이터를 성공적으로 생성한다.
• 기존의 피니튜닝 방식과 비교해, IMOD는 데이터 수집 및 레이블링을 고려하더라도 학습 시간을 수시간에서 수분으로 단축시킨다.
• 다양한 객체 카테고리에 걸쳐 강력한 검출 성능를 유지함으로써, 실제 모바일 환경에서의 시스템의 강건성과 일반화 능력을 확인한다.