[論文レビュー] Conservation AI: Live Stream Analysis for the Detection of Endangered Species Using Convolutional Neural Networks and Drone Technology

Carl Chalmers, Paul Fergus+2 more|arXiv (Cornell University)|Oct 16, 2019

Fish Ecology and Management StudiesEnvironmental Science参考文献 28被引用数 19

ひとこと要約

本論文では、ドローン搭載カメラと微調整されたFaster R-CNN ResNet-101モデルを用いたリアルタイム検出システム、Conservation AIを提示する。このシステムは、絶滅危分行為の標的となるライオンや密猟関連の車両を識別する。各クラス350枚の画像で学習させた結果、IOU 0.50における平均平均精度（mAP）が0.83を達成し、市販ドローンとディープラーニングを用いた低コストでスケーラブルな早期反密猟対策ソリューションであることが示された。

ABSTRACT

Many different species are adversely affected by poaching. In response to this escalating crisis, efforts to stop poaching using hidden cameras, drones and DNA tracking have been implemented with varying degrees of success. Limited resources, costs and logistical limitations are often the cause of most unsuccessful poaching interventions. The study presented in this paper outlines a flexible and interoperable framework for the automatic detection of animals and poaching activity to facilitate early intervention practices. Using a robust deep learning pipeline, a convolutional neural network is trained and implemented to detect rhinos and cars (considered an important tool in poaching for fast access and artefact transportation in natural habitats) in the study, that are found within live video streamed from drones Transfer learning with the Faster RCNN Resnet 101 is performed to train a custom model with 350 images of rhinos and 350 images of cars. Inference is performed using a frame sampling technique to address the required trade-off control precision and processing speed and maintain synchronisation with the live feed. Inference models are hosted on a web platform using flask web serving, OpenCV and TensorFlow 1.13. Video streams are transmitted from a DJI Mavic Pro 2 drone using the Real-Time Messaging Protocol (RMTP). The best trained Faster RCNN model achieved a mAP of 0.83 @IOU 0.50 and 0.69 @IOU 0.75 respectively. In comparison an SSD-mobilenetmodel trained under the same experimental conditions achieved a mAP of 0.55 @IOU .50 and 0.27 @IOU 0.75.The results demonstrate that using a FRCNN and off-the-shelf drones is a promising and scalable option for a range of conservation projects.

研究の動機と目的

• 自動化・リアルタイム検出システムを通じて、野生動物の密猟増加という脅威に対処すること。
• 高コスト、物流上の制約、反応遅延といった従来の反密猟手法の限界を克服すること。
• 市販ドローンとディープラーニングを用いたスケーラブルで低コストなソリューションを開発し、保護活動に応用すること。
• ライブ動画ストリームで絶滅危惧種の動物と密猟関連の車両を検出することで、早期対応を可能にすること。
• 最小限のインfraストラクチャで、多様な保護プロジェクトに展開可能な柔軟で相互運用性のあるフレームワークを構築すること。

提案手法

• Real-Time Messaging Protocol (RTMP) を介して、DJI Mavic Pro 2 ドローンからライブ動画ストリームを送信する。
• 処理速度と検出精度のバランスを保ちつつ、ライブフィードとの同期を維持するためのフレームサンプリング技術を実装する。
• 350頭のライオンと350台の車両の画像で学習した、ResNet-101に基づくFaster R-CNNを用いたトランスファー学習により、カスタムオブジェクト検出モデルを微調整する。
• Flask、OpenCV、TensorFlow 1.13 を使用して、ウェブプラットフォーム上で推論モデルをホスティングし、リアルタイム処理と可視化を実現する。
• 検出の頑健性を評価するため、IOUしきい値0.50および0.75における平均平均精度（mAP）を用いてモデルの学習と評価を行う。
• モデルの有効性を検証するため、同一の実験条件下でSSD-Mobilenetベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 350頭のライオンと350台の車両の画像という限定的なデータセットで学習したディープラーニングモデルが、ライブドローン動画ストリームで信頼性のあるリアルタイム検出を達成できるか？
• RQ2 同じ条件下で、Faster R-CNNの性能はSSD-Mobilenetに比べてどう異なるか？
• RQ3 事前学習済みモデルを用いたトランスファー学習は、野生動物保護分野における大規模なアノテート済みデータセットの必要性をどれほど低減できるか？
• RQ4 市販ドローンとオープンソースソフトウェアを用いたシステムは、実用的な反密猟展開に十分な速度と正確性を達成できるか？
• RQ5 リアルタイム野生動物モニタリングにおいて、処理速度、検出精度、ライブ動画ストリームとの同期の間には、どのようなトレードオフが存在するか？

主な発見

• 最良のFaster R-CNNモデルは、IOU 0.50で平均平均精度（mAP）0.83、IOU 0.75で0.69を達成し、優れた検出性能を示した。
• SSD-Mobilenetベースラインモデルは、IOU 0.50でmAP 0.55、IOU 0.75で0.27にとどまり、このタスクにおいてFaster R-CNNの優れた正確性が顕著に示された。
• 処理速度と精度のバランスを取るフレームサンプリング戦略により、システムはライブ動画ストリームとの同期を正常に維持した。
• Flask、OpenCV、TensorFlow 1.13 を用いたデプロイメントパイプラインにより、リアルタイム推論と検出結果のウェブベース可視化が可能になった。
• 小さなデータセット上で事前学習済みFaster R-CNNをトランスファー学習で適用した結果、重要な野生動物および密猟の兆候を検出するのに効果的であることが実証された。
• フレームワークはスケーラブルで適応可能であり、商業的に入手可能なドローンとディープラーニングを用いた実用的で低コストなソリューションを提供する。