[論文レビュー] A benchmark dataset for deep learning-based airplane detection: HRPlanes

Tolga Bakırman, Elif Sertel|arXiv (Cornell University)|Apr 22, 2022

Advanced Neural Network Applications参考文献 39被引用数 4

ひとこと要約

本論文では、世界的な主要空港のGoogle Earth画像から収集し、手動でバウンディングボックスでアノテートした、航空機検出に特化した新しい高解像度衛星画像データセットHRPlanesを紹介する。YOLOv4およびFaster R-CNNで評価した結果、75%のIoU閾値において90%以上のmAPを達成し、深層学習に基づく航空機検出および転移学習応用のベンチマークとしての有効性を示した。

ABSTRACT

Airplane detection from satellite imagery is a challenging task due to the complex backgrounds in the images and differences in data acquisition conditions caused by the sensor geometry and atmospheric effects. Deep learning methods provide reliable and accurate solutions for automatic detection of airplanes; however, huge amount of training data is required to obtain promising results. In this study, we create a novel airplane detection dataset called High Resolution Planes (HRPlanes) by using images from Google Earth (GE) and labeling the bounding box of each plane on the images. HRPlanes include GE images of several different airports across the world to represent a variety of landscape, seasonal and satellite geometry conditions obtained from different satellites. We evaluated our dataset with two widely used object detection methods namely YOLOv4 and Faster R-CNN. Our preliminary results show that the proposed dataset can be a valuable data source and benchmark data set for future applications. Moreover, proposed architectures and results of this study could be used for transfer learning of different datasets and models for airplane detection.

研究の動機と目的

• 衛星画像における航空機検出に特化した大規模で多様性に富み、高品質なデータセットの不足に対処すること。
• 世界的な空港における景観、季節的変化、衛星撮影の幾何的条件の違いを捉えたベンチマークデータセットを構築すること。
• 提案されたデータセット上で最先端の物体検出モデル（YOLOv4およびFaster R-CNN）を評価し、その有用性を検証すること。
• 異なるリモートセンシングおよび航空機検出タスクにおける転移学習とモデルの一般化を可能にすること。

提案手法

• 世界中の主要な国際空港および軍用空港をカバーする高解像度衛星画像をGoogle Earthから収集した。
• 画像内に見えるすべての航空機に対して手動でバウンディングボックスをアノテートし、高精度なラベル付けを確保した。
• 天候、季節、センサーギアメトリの違いを含む多様な状況をカバーするバランスの取れたデータセットを構築した。
• 標準的な指標を用いて、YOLOv4およびFaster R-CNNの2つの主要な物体検出モデルをこのデータセット上でトレーニングおよび評価した。
• 検出性能の評価と誤検出の低減のため、非最大抑制（NMS）およびIoU閾値処理を適用した。
• 再現性およびさらなる研究を支援するため、モデル重みおよびテストセットをGitHubで公開した。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様性に富み、高解像度の衛星画像データセットは、深層学習モデルの航空機検出性能を向上させることができるか？
• RQ2 YOLOv4およびFaster R-CNNは、大気的および幾何的条件の異なるデータセット上で、どのように性能を発揮するか？
• RQ3 HRPlanesデータセットは、リモートセンシング応用における転移学習のベンチマークとして、どの程度有効に機能するか？
• RQ4 既存のモデルは、複雑な背景における部分的に見えない、または小スケールの航空機をどの程度正しく検出できるか？

主な発見

• HRPlanesデータセットは、YOLOv4およびFaster R-CNNの両方で、75%の交差領域率（IoU）閾値において90%を超える平均平均精度（mAP）を達成した。
• YOLOv4は、鼻コンパートメントや尾部のみが見えるような部分的に見えない、または小スケールの航空機の検出において優れた性能を示した。
• Faster R-CNNは、動きぼけや隠蔽に対して高い感受性を示し、YOLOv4が検出できた場合でも、航空機の一部を逃すことがあった。
• 両モデルとも、効果的な非最大抑制のおかげで、混雑したシーンにおける複数の航空機の検出に成功した。
• YOLOv4は、小スケールのプロペラ機が多数存在するシーンでより多くの誤検出を生じたが、信頼度閾値を0.50に引き上げることでこれを低減できた。
• このデータセットは、転移学習においても有効であった。モデル重みは、類似のデータセットや新しいリモートセンシングタスクにおける推論に直接利用可能であった。