[論文レビュー] FAIR1M: A Benchmark Dataset for Fine-grained Object Recognition in High-Resolution Remote Sensing Imagery

Xian Sun, Peijin Wang+12 more|arXiv (Cornell University)|Mar 9, 2021

Remote-Sensing Image Classification参考文献 52被引用数 10

ひとこと要約

本論文は、100万件を超えるインスタンスと15,000枚の高解像度画像を含む大規模なベンチマークデータセットFAIR1Mを紹介している。これは、細分化された物体検出および認識のためのもので、オriented bounding boxes（OBB）、地理的メタデータ、高品質な画像を特徴とする。5つの主要カテゴリと37のサブカテゴリを備え、実世界の複雑で多様なリモートセンシングシーンにおいて、最先端のモデルが向上した性能を発揮できるようにする。

ABSTRACT

With the rapid development of deep learning, many deep learning-based approaches have made great achievements in object detection task. It is generally known that deep learning is a data-driven method. Data directly impact the performance of object detectors to some extent. Although existing datasets have included common objects in remote sensing images, they still have some limitations in terms of scale, categories, and images. Therefore, there is a strong requirement for establishing a large-scale benchmark on object detection in high-resolution remote sensing images. In this paper, we propose a novel benchmark dataset with more than 1 million instances and more than 15,000 images for Fine-grAined object recognItion in high-Resolution remote sensing imagery which is named as FAIR1M. All objects in the FAIR1M dataset are annotated with respect to 5 categories and 37 sub-categories by oriented bounding boxes. Compared with existing detection datasets dedicated to object detection, the FAIR1M dataset has 4 particular characteristics: (1) it is much larger than other existing object detection datasets both in terms of the quantity of instances and the quantity of images, (2) it provides more rich fine-grained category information for objects in remote sensing images, (3) it contains geographic information such as latitude, longitude and resolution, (4) it provides better image quality owing to a careful data cleaning procedure. To establish a baseline for fine-grained object recognition, we propose a novel evaluation method and benchmark fine-grained object detection tasks and a visual classification task using several State-Of-The-Art (SOTA) deep learning-based models on our FAIR1M dataset. Experimental results strongly indicate that the FAIR1M dataset is closer to practical application and it is considerably more challenging than existing datasets.

研究の動機と目的

• 高解像度リモートセンシング画像解析のための、大規模で細分化され、地理的情報を含むデータセットの不足に対処すること。
• 混雑したシーン、変動する物体サイズや向き、クラス内変動が大きいといった現実世界の複雑さを反映するベンチマークを確立すること。
• 標準化され、高品質なデータセットを提供することで、リモートセンシングにおける細分化認識のためのディーブラーニングモデルの開発と評価を支援すること。
• FAIR1Mと既存のデータセット（例：DOTA）との比較を通じて、クロスデータセット一般化の研究を可能にすること。
• 包括的な評価プロトコルとベースラインモデルを提供することで、細分化された視覚分類および物体検出分野の研究を促進すること。

提案手法

• 多様な地理的地域をカバーする複数のプラットフォームから、0.3m〜0.8m解像度の高解像度リモートセンシング画像を収集した。
• 5つの主要カテゴリと37のサブカテゴリにわたり、オriented bounding boxes（OBB）を用いてすべての物体をアノテーションし、細分化認識を支援した。
• 地理的メタデータ（緯度、経度、解像度）をデータセットに統合し、空間的文脈と応用の関連性を向上させた。
• 高品質な画像とノイズ低減を実現するため、厳密なデータクリーニングを実施し、モデルの一般化可能性を向上させた。
• 物体検出および細分化視覚分類の両タスクにおいて、最先端のディーブラーニングモデル（例：ResNet-50、ResNet-101、MMAL-Net）を用いてベンチマークを確立した。
• ROI Transformerを用いたクロスデータセット検証を通じて、モデルの一般化能力とデータセットの難易度を評価した。

実験結果

リサーチクエスチョン

• RQ1 FAIR1Mデータセットは、スケール、カテゴリの豊富さ、画像品質の観点から、既存のリモートセンシングデータセットと比較してどのように異なるか？
• RQ2 地理的メタデータと高解像度データの統合が、細分化された物体検出モデルの性能と一般化能力にどの程度寄与するか？
• RQ3 特に細分化分類および検出性能の観点から、FAIR1MはDOTAなどの既存ベンチマークと比較してどの程度難易度が高いのか？
• RQ4 最先端のモデルはFAIR1Mで頑健な性能を発揮できるのか、それとも現在のアプローチの限界を露呈するのか？
• RQ5 FAIR1Mで学習したモデルの一般化能力は、他のデータセットでテストした場合、逆に他のデータセットで学習したモデルがFAIR1Mでテストした場合、それぞれどの程度の性能を示すか？

主な発見

• FAIR1Mは15,000枚の画像にわたって100万件を超えるインスタンスを含み、画像数とインスタンス数の両面で、既存のリモートセンシング検出データセットよりも顕著に大規模である。
• 37のサブカテゴリにわたる細分化分類とOBBの統合により、汎用的な物体検出データセットと比較して、認識タスクの難易度が向上している。
• クロスデータセット評価の結果、DOTAで学習したROI Transformer-DがFAIR1Mでテストされた際、mAPが27.92%低下した。これは、FAIR1Mの高い複雑さと難易度を示している。
• MMAL-NetはFAIR-Airplaneサブセットで45.18%のmAPを達成し、ResNet-50（41.23%）とResNet-101（43.46%）を上回った。これは、MMAL-Netが細分化分類に有効であることを示している。
• 一部のサブカテゴリでは強い性能を示したが、特に類似したサブタイプを区別するのが困難な船舶や車両の細分化分類ではMMAL-Netが苦戦した。これは、データセットの難易度の高さを示している。
• 地理的メタデータと高品質な画像の統合により、実世界の応用およびモデルの一般化能力の両面で、データセットの有用性が顕著に向上した。