[논문 리뷰] Live Target Detection with Deep Learning Neural Network and Unmanned Aerial Vehicle on Android Mobile Device

Ali Canberk Anar, Erkan Bostancı외 1명|arXiv (Cornell University)|2018. 03. 19.

Robotics and Sensor-Based Localization참고 문헌 2인용 수 3

한 줄 요약

이 논문은 DJI Phantom 3 Professional 드론과 모바일 하드웨어에서 실행되는 텐서플로우 기반 딥 러닝 모델을 사용하여 안드로이드 기반 실시간 대상 탐지 시스템을 제시한다. 고도의 신뢰도를 가진 분류를 달성하며, 주차장 장면에서 '스포츠카'에 대해 31.75%의 근접도를 기록한 바, 이는 모바일 플랫폼용 UAV 시각 처리의 실현 가능성을 보여준다. 평균 지연 시간은 851ms로 실시간 추론을 구현한다.

ABSTRACT

This paper describes the stages faced during the development of an Android program which obtains and decodes live images from DJI Phantom 3 Professional Drone and implements certain features of the TensorFlow Android Camera Demo application. Test runs were made and outputs of the application were noted. A lake was classified as seashore, breakwater and pier with the proximities of 24.44%, 21.16% and 12.96% respectfully. The joystick of the UAV controller and laptop keyboard was classified with the proximities of 19.10% and 13.96% respectfully. The laptop monitor was classified as screen, monitor and television with the proximities of 18.77%, 14.76% and 14.00% respectfully. The computer used during the development of this study was classified as notebook and laptop with the proximities of 20.04% and 11.68% respectfully. A tractor parked at a parking lot was classified with the proximity of 12.88%. A group of cars in the same parking lot were classified as sports car, racer and convertible with the proximities of 31.75%, 18.64% and 13.45% respectfully at an inference time of 851ms.

연구 동기 및 목표

• 안드로이드 모바일 플랫폼에서 UAV의 실시간 영상 스트림을 대상으로 실시간, 온디바이스 탐지 시스템을 개발한다.
• 텐서플로우의 모바일 추론 엔진을 DJI Phantom 3 Professional 드론의 실시간 영상 스트림과 통합한다.
• 다양한 환경 조건에서 실세계 물체를 분류하는 데 있어 온디바이스 딥 러닝 추론 성능을 평가한다.
• 경량 CNN 모델을 모바일 장치에 배포하여 UAV 기반 시각 인식에 활용할 수 있음을 입증한다.

제안 방법

• 시스템은 안드로이드 장치에 USB 연결을 통해 DJI Phantom 3 Professional 드론의 실시간 영상을 캡처한다.
• 원본 영상 프레임은 딥 러닝 모델에 입력하기 위해 디코딩 및 전처리된다.
• 추론 엔진은 안드로이드 장치에서 텐서플로우 라이트 프레임워크를 사용하여 온디바이스 처리를 수행한다.
• 상위 5개 클래스의 확률을 기반으로 예측 결과가 생성되며, 진짜 레이블과의 유사도를 나타내는 근접도 점수로 보고된다.
• 카메라 통합 및 실시간 처리를 위한 기반 프레임워크로 텐서플로우 안드로이드 카메라 데모를 활용한다.
• 다양한 실세계 대상, 예를 들어 차량, 전자 기기, 자연 구조물에 대해 결과를 로그 기록하고 분석한다.

실험 결과

연구 질문

• RQ1 상용 UAV에서 실시간 영상을 사용하여 안드로이드 모바일 장치에서 경량 딥 러닝 모델이 실시간 물체 탐지 성능을 달성할 수 있는가?
• RQ2 자동차, 전자 기기, 구조물과 같은 다양한 실세계 대상의 분류에서 온디바이스 추론 결과의 정확도는 어떠한가?
• RQ3 소비자용 안드로이드 하드웨어에서 소비자용 모바일 최적화 SSD 모델이 실시간 UAV 영상을 처리할 때의 추론 지연 시간은 얼마인가?
• RQ4 실세계 조건에서 다양한 물체 유형에 따라 근접도 점수(신뢰 수준)는 어떻게 변하는가?
• RQ5 모바일 플랫폼이 UAV 기반 시각 탐지 작업에서 데스크톱 기반 처리를 얼마나 대체할 수 있는가?

주요 결과

• 시스템은 안드로이드 모바일 장치에서 물체 탐지에 대해 평균 지연 시간 851ms로 실시간 추론을 달성했다.
• 주차장 내 차량 그룹이 '스포츠카'로 분류되었으며, 근접도 점수는 31.75%로 모델의 높은 신뢰도를 보였다.
• 트랙터는 12.88%의 근접도로 분류되어 탐지에 대해 중간 수준의 신뢰도를 보였다.
• 노트북 모니터는 '스크린', '모니터', '텔레비전'으로 각각 18.77%, 14.76%, 14.00%의 근접도로 분류되었다.
• UAV 조종기의 조이스틱은 19.10%의 근접도로 분류되어 소형 비표준 물체에 대해 합리적인 탐지 성능을 보였다.
• 개발에 사용된 컴퓨터는 '노트북'으로 20.04%의 근접도로 분류되어 휴대용 컴퓨팅 기기의 효과적인 인식을 보였다.