[論文レビュー] Live Target Detection with Deep Learning Neural Network and Unmanned Aerial Vehicle on Android Mobile Device

Ali Canberk Anar, Erkan Bostancı+1 more|arXiv (Cornell University)|Mar 19, 2018

Robotics and Sensor-Based Localization参考文献 2被引用数 3

ひとこと要約

本論文では、DJI Phantom 3 Professionalドローンと、モバイルハードウェア上で実行されるTensorFlow搭載の深層学習モデルを用いたAndroidベースのライブターゲット検出システムを提示する。リアルタイム推論（851ms）を達成し、高信頼度の分類が可能であり、駐車場のシーンにおける「スポーツカー」の類縁度が31.75%に達するなど、モバイルプラットフォーム向けのデバイス内UAVビジョン処理の実現可能性を示している。

ABSTRACT

This paper describes the stages faced during the development of an Android program which obtains and decodes live images from DJI Phantom 3 Professional Drone and implements certain features of the TensorFlow Android Camera Demo application. Test runs were made and outputs of the application were noted. A lake was classified as seashore, breakwater and pier with the proximities of 24.44%, 21.16% and 12.96% respectfully. The joystick of the UAV controller and laptop keyboard was classified with the proximities of 19.10% and 13.96% respectfully. The laptop monitor was classified as screen, monitor and television with the proximities of 18.77%, 14.76% and 14.00% respectfully. The computer used during the development of this study was classified as notebook and laptop with the proximities of 20.04% and 11.68% respectfully. A tractor parked at a parking lot was classified with the proximity of 12.88%. A group of cars in the same parking lot were classified as sports car, racer and convertible with the proximities of 31.75%, 18.64% and 13.45% respectfully at an inference time of 851ms.

研究の動機と目的

• Androidモバイルプラットフォーム上で、UAVのライブビデオストリーム用にリアルタイムで、デバイス内でのターゲット検出システムを開発すること。
• TensorFlowのモバイル推論エンジンを、DJI Phantom 3 Professionalドローンのライブビデオフィードと統合すること。
• さまざまな環境条件下でのデバイス内ディープラーニング推論の性能を評価すること。
• 軽量CNNモデルをモバイルデバイスにデプロイする際の、UAVベースの視覚認識用途における実用性を示すこと。

提案手法

• システムは、AndroidデバイスへのUSB接続を通じてDJI Phantom 3 Professionalドローンのライブビデオを取得する。
• 生のビデオフレームはデコードされ、事前に訓練されたTensorFlow MobileNet SSDモデルへの入力として前処理される。
• 推論エンジンは、Androidデバイス上でTensorFlow Liteフレームワークを用いてデバイス内処理を実行する。
• クラス予測はトップ5クラス確率が生成され、真のラベルとの類縁度としてのスコアとして報告される。
• カメラ統合とリアルタイム処理の基盤として、TensorFlowのAndroidカメラデモをベースにシステムを構築する。
• 結果は、車両、電子機器、自然構造物など、さまざまな現実世界のターゲットについてログされ、分析される。

実験結果

リサーチクエスチョン

• RQ1 商業用UAVのライブビデオを用いて、軽量ディープラーニングモデルがAndroidモバイルデバイス上でリアルタイムのオブジェクト検出を達成できるか？
• RQ2 車両、電子機器、構造物など多様な現実世界のターゲットを分類する際、デバイス内推論の結果の正確性はどの程度か？
• RQ3 コンsumerクラスのAndroidハードウェア上で、モバイル最適化されたSSDモデルがライブUAVビデオを処理する際の推論遅延はどの程度か？
• RQ4 現実世界の条件下で、さまざまなオブジェクトカテゴリにおいて類縁度スコア（信頼度）はどのように変動するか？
• RQ5 モバイルプラットフォームは、UAVベースの視覚検出タスクにおいて、デスクトップベースの処理をどの程度代替できるか？

主な発見

• システムは、モバイルAndroidデバイス上でオブジェクト検出の平均遅延851msでリアルタイム推論を達成した。
• 駐車場にいる車両のグループが「スポーツカー」として類縁度31.75%で分類され、モデルの高い信頼度を示した。
• トレイクターは類縁度12.88%で分類され、検出に対する中程度の信頼度を示した。
• ラップトップのモニタは「スクリーン」「モニタ」「テレビ」の順に類縁度18.77%、14.76%、14.00%で分類された。
• UAVコントローラのジョイスティックは19.10%の類縁度で分類され、小型で非標準のオブジェクトに対しても妥当な検出性能を示した。
• 開発に使用したコンピュータは「ノートブック」として20.04%の類縁度で分類され、ポータブルコンピューティングデバイスの効果的な認識を示した。