[論文レビュー] FGSD: A Dataset for Fine-Grained Ship Detection in High Resolution Satellite Images

Kaiyan Chen, Ming Wu+2 more|arXiv (Cornell University)|Mar 15, 2020

Remote-Sensing Image Classification参考文献 9被引用数 22

ひとこと要約

本稿では、17か国際的港湾から取得した4,736枚の高解像度衛星画像を含む大規模で細分化された船検出データセットFGSDを紹介する。43の船種別クラスに加え、新たに「ドック」クラスを追加し、水平方向および回転方向のバウンディングボックスによるアノテーションが施されている。本稿では、船の向きを表すための新規で直感的な方向ベクトル表現を提案し、詳細なメタデータを提供することで、高解像度衛星画像における細分化された船検出の新たなベンチマークを確立した。ベースラインモデルでは、R2CNNがmAP 0.65、Faster R-CNNがmAP 0.70を達成した。

ABSTRACT

Ship detection using high-resolution remote sensing images is an important task, which contribute to sea surface regulation. The complex background and special visual angle make ship detection relies in high quality datasets to a certain extent. However, there is few works on giving both precise classification and accurate location of ships in existing ship detection datasets. To further promote the research of ship detection, we introduced a new fine-grained ship detection datasets, which is named as FGSD. The dataset collects high-resolution remote sensing images that containing ship samples from multiple large ports around the world. Ship samples were fine categorized and annotated with both horizontal and rotating bounding boxes. To further detailed the information of the dataset, we put forward a new representation method of ships' orientation. For future research, the dock as a new class was annotated in the dataset. Besides, rich information of images were provided in FGSD, including the source port, resolution and corresponding GoogleEarth' s resolution level of each image. As far as we know, FGSD is the most comprehensive ship detection dataset currently and it'll be available soon. Some baselines for FGSD are also provided in this paper.

研究の動機と目的

• 高解像度リモートセンシングにおける包括的で細分化された船検出データセットの不足を解消するため、新規の大規模ベンチマークを構築すること。
• 回転バウンディングボックスを用いた細分化分類と正確な局所化を可能にすることで、船検出性能を向上させること。
• 検出のロバスト性と一般化性能を向上させるために、新たな直感的な向き表現法を導入すること。
• 再現性の高い研究とデータセット分析を支援するため、出典となる港湾、解像度、Google Earthの解像度レベルを含む豊富なメタデータを提供すること。
• 最先端のモデル（R2CNNおよびFaster R-CNN）を用いて強力なベースラインを確立し、今後の手法の評価と発展を支援すること。

提案手法

• Google Earthを用いて、17か所の主要な国際的港湾から、複数の解像度レベル（0.12m〜1.93m）で4,736枚の高解像度衛星画像を収集し、画像サイズを930×930に統一した。
• 43の細分化された船カテゴリに分類された5,634件の船インスタンスと、1,366件のドックインスタンスを、水平方向および回転バウンディングボックスを用いてアノテートした。
• 回転バウンディングボックス（x_c, y_c, w, h, θ）から導出される、船の中心から船首を指す方向ベクトル（d₁, d₂）∈{−1, 0, 1}²を用いた新規な向き表現を提案した。
• レベル1ラベル「船」の下に4つのレベル2カテゴリ（戦闘艦、航空母艦、潜水艦、民間船）を設けた多段階ラベル化スキームを実装し、細分化分類を可能にした。
• アノテーションファイルに、出典となる港湾ID、画像解像度、対応するGoogle Earthの解像度レベルを含む詳細な画像メタデータを提供した。
• ResNet-101をバックボーンとし、mAPを評価指標として用いて、R2CNN（回転検出用）およびFaster R-CNN（水平検出用）のベースラインモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 高度なリモートセンシング応用を支援する包括的で細分化された船検出データセットをどのように構築できるか？
• RQ2 多段階ラベル化と回転バウンディングボックスアノテーションは、高解像度衛星画像における船検出性能にどのような影響を与えるか？
• RQ3 新規で直感的な向き表現法は、船検出モデルの精度とロバスト性を向上させることができるか？
• RQ4 FGSDデータセットは、HRSC2016などの既存ベンチマークと比較して、スケール、多様性、アノテーションの豊かさの点でどのように優れているか？
• RQ5 最先端の物体検出フレームワークを用いて、FGSDデータセット上で達成される強力なベースライン性能はどの程度か？

主な発見

• FGSDは、これまでで最大規模かつ最も包括的な細分化された船検出データセットであり、4,736枚の画像、43クラスに分類された5,634件の船インスタンス、1,366件のドックインスタンスを含む。
• 各画像に対して、出典となる港湾ID、画像解像度、Google Earthの解像度レベルといった豊富なメタデータを提供しており、再現性と分析の質を向上させた。
• 回転バウンディングボックスから導出される方向ベクトル（d₁, d₂）を用いた向き表現は、従来の手法と比較してより直感的で簡潔な方法である。
• ベースライン評価では、R2CNNが回転バウンディングボックス検出で平均平均精度（mAP）0.65を達成し、Faster R-CNNが水平バウンディングボックス検出でmAP 0.70を達成した。
• カテゴリ数（43 vs. 22）とサンプルの多様性の点で、HRSC2016を大きく上回っており、クラス分布の改善と多段階ラベル化により、細分化分析が可能になった。
• 「ドック」クラスの追加により、今後の海事環境におけるマルチオブジェクト検出とシーン理解に関する研究が可能になった。