[논문 리뷰] A Framework of Transfer Learning in Object Detection for Embedded Systems

Ioannis N. Athanasiadis, Panagiotis Mousouliotis외 1명|arXiv (Cornell University)|2018. 11. 12.

Advanced Neural Network Applications참고 문헌 23인용 수 12

한 줄 요약

이 논문은 임베디드 시스템에서 실시간 객체 검출을 위한 경량 CNN인 SqueezeDet를 위한 전이 학습 프레임워크를 제시한다. GPU 최적화된 데이터 파이프라인을 통해 훈련 속도를 1.8배 빠르게 하고, 자동 초모수 조정 기능을 제공하며, ImageNet에서의 전이 학습이 소규모 데이터셋에서 mAP를 40퍼센트 이상 향상시킨다는 것을 입증한다. 다만 공적응 민감도는 초기 레이어의 미세조정이 필요하다.

ABSTRACT

Transfer learning is one of the subjects undergoing intense study in the area of machine learning. In object recognition and object detection there are known experiments for the transferability of parameters, but not for neural networks which are suitable for object detection in real time embedded applications, such as the SqueezeDet neural network. We use transfer learning to accelerate the training of SqueezeDet to a new group of classes. Also, experiments are conducted to study the transferability and co-adaptation phenomena introduced by the transfer learning process. To accelerate training, we propose a new implementation of the SqueezeDet training which provides a faster pipeline for data processing and achieves 1.8 times speedup compared to the initial implementation. Finally, we created a mechanism for automatic hyperparameter optimization using an empirical method.

연구 동기 및 목표

• 실시간 임베디드 응용 프로그램에서 새로운 객체 클래스를 위해 경량 객체 검출기인 SqueezeDet를 재훈련하는 데 도전하는 것.
• CPU에서 실행되는 일반적인 SqueezeDet의 구현 방식이 가지는 높은 계산 비용과 느린 훈련 속도를 극복하는 것.
• ImageNet, KITTI, PASCAL VOC 데이터셋에서의 지식 전이 시 SqueezeDet의 전이 가능성과 공적응 특성을 조사하는 것.
• 재훈련 효율성과 성능 향상을 위해 자동 초모수 최적화 방법을 개발하는 것.
• 동적 클래스 요구 조건을 가진 임베디드 시스템에서 객체 검출 모델의 빠른 배포 및 업데이트를 위한 재사용 가능한 프레임워크를 구축하는 것.

제안 방법

• 원래 CPU 기반 버전 대비 1.8배 빠른 속도를 달성하기 위해 데이터 처리 병목 현상을 줄이고 CPU-GPU 데이터 전송을 최소화하기 위해 GPU 가속을 활용해 SqueezeDet 훈련 파이프라인을 재구현했다.
• GPU 실행을 위해 메모리 집약적인 연산을 병렬화함으로써 앵커 매칭 알고리즘을 최적화하여 훈련 스루풋을 향상시켰다.
• 핵심 초모수(예: 그리드당 앵커 수, NMS 임계값, 학습률)를 조정하기 위해 AdaLipo와 신뢰 영역 알고리즘을 조합한 실증적 초모수 최적화 전략을 적용했다.
• ImageNet 사전 훈련 가중치로 SqueezeDet를 초기화하고 KITTI 및 PASCAL VOC 데이터셋에서 미세조정함으로써 전이 가능성 실험을 수행했다.
• 전이 학습의 효과성과 공적응 민감도 평가를 위해 주로 mAP(평균 정밀도 평균)를 평가 지표로 사용했다.
• 성능 향상과 계산 효율성을 검증하기 위해 GPU 전력 소비와 훈련 시간을 측정했다.

실험 결과

연구 질문

• RQ1 PASCAL VOC와 같은 소규모 데이터셋에서 재훈련할 때, ImageNet에서의 전이 학습이 SqueezeDet의 mAP에 얼마나 기여하는가?
• RQ2 KITTI에서 PASCAL VOC로 전이 학습할 경우, SqueezeDet의 레이어가 공적응에 얼마나 취약한가? 특히 첫 7개 레이어의 미세조정 여부에 따라 어떻게 달라지는가?
• RQ3 자동 초모수 최적화가 무작위 또는 고정 초모수 설정 대비 SqueezeDet 재훈련의 mAP에 상당한 영향을 미치는가?
• RQ4 데이터 파이프라인 최적화가 임베디드 우수성 객체 검출 모델의 훈련 속도와 GPU 활용도에 어떤 영향을 미치는가?
• RQ5 ImageNet에서 KITTI로, 그리고 KITTI에서 PASCAL VOC로 전이 학습을 수행할 경우, 치명적인 잊음(catastrophic forgetting)이 발생하는가? 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• 데이터 처리를 GPU로 이관하고 CPU-GPU 데이터 전송을 최소화함으로써 SqueezeDet 훈련의 재구현이 원래 CPU 기반 버전 대비 1.8배 빠른 속도를 달성했다.
• ImageNet에서의 전이 학습이 PASCAL VOC로의 재훈련 시 mAP를 40퍼센트 이상 향상시켜 강력한 긍정적 전이 가능성(positive transferability)을 입증했다.
• 공적응은 매우 해로운 것으로 밝혀졌다: SqueezeDet의 첫 7개 레이어를 미세조정하지 않으면 KITTI에서 PASCAL VOC로의 전이 학습이 실패했다.
• AdaLipo와 신뢰 영역 방법를 사용한 초모수 최적화로 mAP가 무작위 설정의 1.3퍼센트에서 2.8퍼센트로 향상되었지만, 성과는 미미하여 초모수 선택이 주요 병목 요소는 아님을 시사했다.
• 밀도 높은 앵커 격자로 인해 그레디 바이파트라이트 매칭 앵커 매칭 알고리즘이 원래 방법보다 느렸지만, 더 정확한 결과를 도출했다.
• ImageNet에서 KITTI로, 그리고 KITTI에서 PASCAL VOC로의 전이 학습이 치명적인 잊음으로 실패했으며, 이는 임베디드 시스템에서 순차적 도메인 이동의 위험성을 강조한다.