[論文レビュー] iSAID: A Large-scale Dataset for Instance Segmentation in Aerial Images

Syed Waqas Zamir, Aditya Arora+8 more|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications参考文献 33被引用数 161

ひとこと要約

iSAID は、大規模で密集注釈された空撮インスタンス分割データセットを導入。15カテゴリ、655,451インスタンス、2,806の高解像度画像にわたり、共通手法（Mask R-CNN、PANet）をベンチマークし、空中専用ソリューションの必要性を示す。

ABSTRACT

Existing Earth Vision datasets are either suitable for semantic segmentation or object detection. In this work, we introduce the first benchmark dataset for instance segmentation in aerial imagery that combines instance-level object detection and pixel-level segmentation tasks. In comparison to instance segmentation in natural scenes, aerial images present unique challenges e.g., a huge number of instances per image, large object-scale variations and abundant tiny objects. Our large-scale and densely annotated Instance Segmentation in Aerial Images Dataset (iSAID) comes with 655,451 object instances for 15 categories across 2,806 high-resolution images. Such precise per-pixel annotations for each instance ensure accurate localization that is essential for detailed scene analysis. Compared to existing small-scale aerial image based instance segmentation datasets, iSAID contains 15$ imes$ the number of object categories and 5$ imes$ the number of instances. We benchmark our dataset using two popular instance segmentation approaches for natural images, namely Mask R-CNN and PANet. In our experiments we show that direct application of off-the-shelf Mask R-CNN and PANet on aerial images provide suboptimal instance segmentation results, thus requiring specialized solutions from the research community. The dataset is publicly available at: https://captain-whu.github.io/iSAID/index.html

研究の動機と目的

• 空中画像のための大規模で密に注釈されたインスタンス分割データセットの作成を動機づける。
• 高密度な空中シーンにおける正確な局所化を可能にする、ピクセル単位のインスタンスマスクを提供する。
• 自然シーンのインスタンス分割モデルを空中画像に適用する際の制限を強調する。
• 参照基準を確立するためにベースライン手法をベンチマークし、空中向け適応アプローチの開発を動機づける。

提案手法

• 専用の注釈パイプラインを使用して、2,806枚の高解像度空中画像に対して655,451個のインスタンスマスクを15カテゴリにわたり作成・注釈する。
• 厳格な注釈ガイドライン、多段階の品質管理ワークフロー、専門の注釈者を確立し、インスタンスごとのピクセルレベルのマスクを保証する。
• iSAID上で、ベースラインのインスタンス分割および物体検出手法（Mask R-CNNおよびPANet）を評価し、単純なアーキテクチャ/バックボーンの改善とスケール拡張を含める。
• 800x800パッチ、ストライド200を用いて高解像度の空中画像向け評価を適応させ、必要に応じて切り抜きパッチを再注釈する。
• 空中データにおける性能ギャップを明らかにするため、インスタンス分割と境界ボックス検出のベンチマーク結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 頑健なモデルを訓練するには、空中インスタンス分割データセットはどれくらい大規模で多様であるべきか？
• RQ2 最先端の自然画像手法と空中画像データのインスタンス分割における性能ギャップはどの程度か？
• RQ3 一般的なアーキテクチャ（Mask R-CNN、PANet）は密集した高解像度の空中画像でどの程度評価され、空中専用の単純な微調整でギャップを埋められるか？
• RQ4 空中画像のインスタンス分割に影響を与える課題（スケール、密度、向き、アスペクト比）は何か？

主な発見

• iSAID は 2,806 枚の画像と 15 カテゴリにまたがる 655,451 個の注釈済みインスタンスを含み、高密度な空中シーンの解析を可能にする。
• 既製の自然画像手法（Mask R-CNN、PANet）は iSAID で最適な結果を生まないことが多く、空中用に特化した解決策が必要であることを示している。
• PANet の派生が iSAID で Mask R-CNN の派生より優れており、PANet++（ResNet-152-FPN バックボーン）がインスタンス分割と bounding-box 検出の最良の性能を達成している。
• ベースラインを単純に修正する（スケール拡張、ボックス数の増加、NMS の調整など）ことで有意な改善が得られ、領域特有の調整による潜在的利益を示している。
• クラス別の結果は、特定のカテゴリ（例: baseball diamond, basketball court, harbor）で PANet++ による顕著な改善を示している。
• DOTA と比較して、iSAID はより多くのインスタンスとカテゴリを導入しており、空中インスタンス分割のためのより困難なベンチマークとなっている。