[論文レビュー] Satellite Imagery Feature Detection using Deep Convolutional Neural Network: A Kaggle Competition

Vladimir Iglovikov, Sergey Mushinskiy+1 more|arXiv (Cornell University)|Jun 19, 2017

Remote-Sensing Image Classification参考文献 8被引用数 148

ひとこと要約

この論文は、多スペクトルのU-Net風のFully Convolutional Networkを衛星画像のセマンティックセグメンテーションに適用し、境界処理を伴うjoint lossを導入して heavy ensemblingなしでDSTL Kaggle競技で3位を達成した。

ABSTRACT

This paper describes our approach to the DSTL Satellite Imagery Feature Detection challenge run by Kaggle. The primary goal of this challenge is accurate semantic segmentation of different classes in satellite imagery. Our approach is based on an adaptation of fully convolutional neural network for multispectral data processing. In addition, we defined several modifications to the training objective and overall training pipeline, e.g. boundary effect estimation, also we discuss usage of data augmentation strategies and reflectance indices. Our solution scored third place out of 419 entries. Its accuracy is comparable to the first two places, but unlike those solutions, it doesn't rely on complex ensembling techniques and thus can be easily scaled for deployment in production as a part of automatic feature labeling systems for satellite imagery analysis.

研究の動機と目的

• マッピング、監視、災害対応のための多様な衛星画像クラスのピクセルレベルでの正確な分類を動機付ける。
• 完全畳み込みネットワークを多スペクトルのリモートセンシングデータに適用し、データ融合戦略を評価する。
• 境界効果とデータ不均衡に対処するための訓練目的とパイプラインの調整を開発する。
• 反射率指標とデータ拡張が、特に過小表現クラスのセグメンテーション性能を向上させる役割を評価する。

提案手法

• RGB、M-band、反射率指標の早期融合を伴う多スペクトル入力への完全畳み込みネットワーク（U-Net）の適用。
• セグメンテーションマスクの訓練に、二値交差エントロピーと微分可能なJaccard指数（IoU）の代理指標を組み合わせたジョイントロスを使用。
• Dih4変換を含むデータ拡張と、112x112入力、128チャネルバッチによるパッチベースの訓練を採用。
• エッジアーチファクトを軽減するため、出力へのクロッピング層とパディング領域への反射を追加して境界効果に対応。
• 8クラスのターゲットそれぞれに対してクラス別モデルを訓練し、データセットサイズの制約とクラス不均衡を管理するためにパッチベースの予測戦略を用いる。
• 公開データセットと非公開テストセットでIoU（Jaccard index）を用いて評価し、クラス別の結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 多スペクトルU-Netが複数のスペクトルバンドの早期融合によって、小規模な衛星データセット上で競争力のあるセマンティックセグメンテーションを達成できるか。
• RQ2 IoUにインスパイアされた損失など、トレーニング目的の調整は、不均衡な多スペクトルリモートセンシングデータにおけるピクセル単位のセグメンテーション品質を改善するか。
• RQ3 パッチベースの予測から生じる境界効果が精度にどのように影響するか、 Heavy ensemblingを使わずに建築的な改良で緩和できるか。
• RQ4 反射率指標（例：CCCI、NDWI）は、越え表現が限定されたクラス（例：水路、静水域）にとって学習された特徴を補完するか。
• RQ5 この設定では、単一のマルチクラスモデルよりもクラス別の別個モデリングが有利か。

主な発見

Class	Public set	Private set
Buildings	0.7453	0.6290
Structures	0.1905	0.2015
Road	0.8005	0.5605
Track	0.3281	0.3965
Trees	0.5018	0.6984
Crops	0.8251	0.8280
Waterway	0.9697	0.9131
Standing water	0.6081	0.5272
Vehicle Large	0.2964	0.0331
Vehicle Small	0.0186	0.00000

• このアプローチは、Kaggle DSTL Satellite Imagery Feature Detectionチャレンジで419エントリ中3位を達成した。
• 二値交差エントロピーと微分可能なIoU代替指標を組み合わせたジョイントロスがセグメンテーション訓練を改善した。
• 最初の6クラスを別個にモデリングし、境界クロッピング技術を用いることで境界アーティファクトを低減し、エッジ予測を改善した。
• 反射率指標は水関連クラスと緑地のセグメント化を助け、特に水路のような過小表現クラスに対して指標の方が学習特徴よりも効果的であった。
• クラス別モデルとパッチベースの入力により、 heavy model ensemblingなしで競争力のある結果を得ることができた。
• クラス別IoUスコアは大きくばらつき、Waterway Public 0.9697、Private 0.9131、Standing water Public 0.6081、Private 0.5272、Vehicle Large Public 0.2964、Private 0.0331など、いくつかの大きな車両クラスは非常に低いスコアを示した。