[論文レビュー] RSI-CB: A Large Scale Remote Sensing Image Classification Benchmark via Crowdsource Data

Haifeng Li, Dou, Xin+6 more|arXiv (Cornell University)|May 30, 2017

Remote-Sensing Image Classification参考文献 50被引用数 80

ひとこと要約

RSI-CB は、クラウドソース注釈（OSM）を用いて世界規模の大規模リモートセンシング画像分類ベンチマークを構築し、DCNN評価のためのマルチサイズデータセットを実現します。階層的な地物カテゴリを持つ2つのラベル付きサブデータセットを提供します。

ABSTRACT

In recent years, deep convolutional neural network (DCNN) has seen a breakthrough progress in natural image recognition because of three points: universal approximation ability via DCNN, large-scale database (such as ImageNet), and supercomputing ability powered by GPU. The remote sensing field is still lacking a large-scale benchmark compared to ImageNet and Place2. In this paper, we propose a remote sensing image classification benchmark (RSI-CB) based on massive, scalable, and diverse crowdsource data. Using crowdsource data, such as Open Street Map (OSM) data, ground objects in remote sensing images can be annotated effectively by points of interest, vector data from OSM, or other crowdsource data. The annotated images can be used in remote sensing image classification tasks. Based on this method, we construct a worldwide large-scale benchmark for remote sensing image classification. This benchmark has two sub-datasets with 256 by 256 and 128 by 128 sizes because different DCNNs require different image sizes. The former contains 6 categories with 35 subclasses of more than 24,000 images. The latter contains 6 categories with 45 subclasses of more than 36,000 images. This classification system of ground objects is defined according to the national standard of land-use classification in China and is inspired by the hierarchy mechanism of ImageNet. Finally, we conduct many experiments to compare RSI-CB with the SAT-4, SAT-6, and UC-Merced datasets on handcrafted features, such as scale-invariant feature transform, color histogram, local binary patterns, and GIST, and classical DCNN models, such as AlexNet, VGGNet, GoogLeNet, and ResNet.

研究の動機と目的

• 大規模で多様なリモートセンシングベンチマークが ImageNet/Place2 に匹敵する必要性を喚起する。
• クラウドソースデータ（例: Open Street Map）を活用して RS画像の地物に注釈を付ける。
• DCNNをベンチマークするための階層的カテゴリ構造を持つ、2つのスケーラブルな画像サイズデータセットを構築する。
• 従来の手作業特徴量と標準的なDCNNモデルとのベースライン比較を提供する。
• 複数のネットワークアーキテクチャと入力解像度にわたる評価を可能にする。

提案手法

• クラウドソースデータ（OSMおよびベクタデータ）を用いて関心地点を通じてリモートセンシング画像に注釈を付ける。
• 256x256 および 128x128 の画像サイズを持つ2つのサブデータセットを作成し、異なるDCNN入力要件に対応する。
• 中国の国家土地利用基準に触発された地物カテゴリ体系とImageNetに似た階層型スキームを定義する。
• 手作業特徴量とクラシックDCNN（AlexNet, VGGNet, GoogLeNet, ResNet）を用いて、既存RSデータセット（SAT-4, SAT-6, UC-Merced）と RSI-CB を比較する実験を行う。
• ベースライン分類性能の観察を提供し、ベンチマークの妥当性を確立する。

実験結果

リサーチクエスチョン

• RQ1 大規模なリモートセンシング画像を分類のために注釈する際、クラウドソースデータをいかに効果的に活用できるか。
• RQ2 RSの国標準地物分類体系を階層化して作成する際の特徴と課題は何か。
• RQ3 手作業特徴量と標準的なDCNNを用いた既存RSデータセットと比較して、RSI-CBはベンチマークとしてどの程度の性能か。
• RQ4 画像サイズ（256x256 vs 128x128）がRS分類におけるDCNN性能に与える影響は何か。
• RQ5 AlexNet, VGGNet, GoogLeNet, ResNet 等のアーキテクチャ間で公正なクロスモデルベンチマークをサポートするクラウド注釈RSデータセットは作れるか。

主な発見

• RSI-CB は異なる画像サイズと階層的クラス構造を持つ2つの大規模 RS データセットを提供する。
• The 256x256 dataset contains 6 categories with 35 subclasses and over 24,000 images; the 128x128 dataset contains 6 categories with 45 subclasses and over 36,000 images.
• ベースライン実験は RSI-CB を SAT-4, SAT-6, UC-Merced と手作業特徴量およびクラシックDCNN（AlexNet, VGGNet, GoogLeNet, ResNet）を用いて比較する。
• クラウドソースベースの注釈を用いた大規模なRSベンチマーク構築の実現可能性を示す。
• データセット構築は国の土地利用分類基準と一致し、ImageNet に触発された階層を採用して広範な適用性を持つ。