[論文レビュー] Small Target Detection for Search and Rescue Operations using Distributed Deep Learning and Synthetic Data Generation

Kyongsik Yun, Luan Viet Nguyen+6 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Neural Network Applications参考文献 18被引用数 4

ひとこと要約

本論文は、合成データ拡張を用いた分散型ディープラーニングシステムを提案し、捜索救助（SAR）作業におけるリアルタイムな小規模標的検出を可能にする。ドローン（UAV）、固定監視カメラ、画像強調処理、畳み込みニューラルネットワーク（CNN）を統合することで、システムは8秒で小規模標的（例：船外に転落した人物）を検出でき、人的検出（25秒）よりも顕著に高速かつ正確である。これは、救助活動の第一線で迅速かつ正確な検出を実現する。

ABSTRACT

It is important to find the target as soon as possible for search and rescue operations. Surveillance camera systems and unmanned aerial vehicles (UAVs) are used to support search and rescue. Automatic object detection is important because a person cannot monitor multiple surveillance screens simultaneously for 24 hours. Also, the object is often too small to be recognized by the human eye on the surveillance screen. This study used UAVs around the Port of Houston and fixed surveillance cameras to build an automatic target detection system that supports the US Coast Guard (USCG) to help find targets (e.g., person overboard). We combined image segmentation, enhancement, and convolution neural networks to reduce detection time to detect small targets. We compared the performance between the auto-detection system and the human eye. Our system detected the target within 8 seconds, but the human eye detected the target within 25 seconds. Our systems also used synthetic data generation and data augmentation techniques to improve target detection accuracy. This solution may help the search and rescue operations of the first responders in a timely manner.

研究の動機と目的

• 自動化されたシステムを用いて、捜索救助（SAR）作業における小規模標的の検出時間を短縮すること。
• 人間が発見しにくい低コントラスト・小規模標的を監視映像で検出する課題に対処すること。
• 合成データ生成およびデータ拡張技術を用いて、検出精度を向上させること。
• UAVおよび固定カメラと統合可能なスケーラブルでリアルタイムの検出システムを、米国海岸保安隊の運用に向け開発すること。
• システムの性能を人的視認検出と比較し、速度および信頼性の観点から評価すること。

提案手法

• ヒューストン港周辺にドローン（UAV）および固定監視カメラを展開し、リアルタイムの映像データを収集した。
• 小規模標的の可視性を向上させるために、画像セグメンテーションおよび強調処理技術を適用した。
• 実データと合成データの組み合わせを用いて畳み込みニューラルネットワーク（CNN）を学習させ、モデルの汎化能力を向上させた。
• とくにレアまたは撮影が困難な標的シナリオ向けに、合成データ生成を活用してトレーニングデータを拡張した。
• 複数の計算ノードに跨るトレーニングおよび推論を高速化するために、分散型ディープラーニングを採用した。
• 最終的なモデルをリアルタイム検出パイプラインに統合し、運用への展開を実現した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのシステムは、人的検出よりも監視映像における小規模標的の検出を著しく高速に行えるか？
• RQ2 合成データ生成は、SAR状況下における小規模標的検出の精度および頑健性にどのように影響を与えるか？
• RQ3 検出時間という観点から、自動検出と人的視認検索の間にはどの程度の性能差があるか？
• RQ4 分散型ディープラーニングは、リアルタイムSARアプリケーションにおける推論速度をどの程度向上できるか？
• RQ5 画像強調およびセグメンテーション技術は、低コントラスト・小規模標的の検出にどの程度効果的か？

主な発見

• 自動化システムは小規模標的を8秒で検出できたが、人的検出では25秒かかっていた。
• 合成データ生成の活用により、実世界のテストデータにおけるモデルの汎化能力および検出精度が顕著に向上した。
• 画像強調およびセグメンテーション技術により、低解像度の映像配信における小規模標的の可視性が効果的に向上した。
• 分散型ディープラーニングフレームワークにより、トレーニングおよび推論が高速化され、リアルタイム展開が可能になった。
• ヒューストン港の多様な環境条件下でも、システムは一貫した性能を示した。
• 連続監視条件下では、提案されたパイプラインが人的検出を速度および信頼性の両面で上回った。