[論文レビュー] Greenhouse Segmentation on High-Resolution Optical Satellite Imagery using Deep Learning Techniques

Orkhan Baghirli, Imran Ibrahimli+1 more|arXiv (Cornell University)|Jul 22, 2020

Remote Sensing and LiDAR Applications参考文献 23被引用数 4

ひとこと要約

本論文は、アゼルバイジャンの1.5メートル解像度の光学衛星画像から高精度な温室セグメンテーションを実現するU-Netベースのディーブラーニングフレームワークを提案する。ドロップアウト畳み込み、スキップ接続、双線形補間、および重み付きバイナリクロスエントロピー＋Dice損失を統合することで、最良のモデルは93.29％のF1スコアを達成し、ベースラインU-Netより4.48％優れている。

ABSTRACT

Greenhouse segmentation has pivotal importance for climate-smart agricultural land-use planning. Deep learning-based approaches provide state-of-the-art performance in natural image segmentation. However, semantic segmentation on high-resolution optical satellite imagery is a challenging task because of the complex environment. In this paper, a sound methodology is proposed for pixel-wise classification on images acquired by the Azersky (SPOT-7) optical satellite. In particular, customized variations of U-Net-like architectures are employed to identify greenhouses. Two models are proposed which uniquely incorporate dilated convolutions and skip connections, and the results are compared to that of the baseline U-Net model. The dataset used consists of pan-sharpened orthorectified Azersky images (red, green, blue,and near infrared channels) with 1.5-meter resolution and annotation masks, collected from 15 regions in Azerbaijan where the greenhouses are densely congested. The images cover the cumulative area of 1008 $km^2$ and annotation masks contain 47559 polygons in total. The $F_1, Kappa, AUC$, and $IOU$ scores are used for performance evaluation. It is observed that the use of the deconvolutional layers alone throughout the expansive path does not yield satisfactory results; therefore, they are either replaced or coupled with bilinear interpolation. All models benefit from the hard example mining (HEM) strategy. It is also reported that the best accuracy of $93.29\%$ ($F_1\,score$) is recorded when the weighted binary cross-entropy loss is coupled with the dice loss. Experimental results showed that both of the proposed models outperformed the baseline U-Net architecture such that the best model proposed scored $4.48\%$ higher in comparison to the baseline architecture.

研究の動機と目的

• 高解像度光学衛星画像における温室の同定を目的とした堅牢なセマンティックセグメンテーションパイプラインの開発。
• 温室検出におけるスケールの変動、不規則な形状、影、大気歪みなどの課題に対処すること。
• 拡張畳み込みと双線形アップサンプリングを含むアーキテクチャ的改善を組み込むことで、ベースラインU-Netのセグメンテーション精度を向上させること。
• 損失関数、データオーグメンテーション、ハード例マイニングの影響がモデルの汎化性能および性能に与える影響を評価すること。
• 気候に配慮した農業モニタリングに適した計算的に実行可能で展開可能なソリューションを、衛星データを用いて構築すること。

提案手法

• 1.5m解像度のパナクロマチックで補正済みのアゼルスキー（SPOT-7）衛星画像を用い、RGBおよび近赤がいバンドを含む。
• クラスの不均衡に対処するため、画像を64×64ピクセルのタイルに分割し、32ピクセルのオーバーラップをとった。正例率が0.1以上であるタイルのみを保持した。
• 特徴を強化するため、NDVIおよびテクスチャチャンネルを計算し、ミックスアップ、回転、反転、明るさ/ガンマ調整などのデータオーグメンテーション技術を適用した。
• 2つの新しいU-Net変種（モデルAおよびモデルB）を設計し、多スケールのコンテキストを捉えるために、拡張畳み込みとスキップ接続を統合した。
• デコーダー部でトランスポジット畳み込みを双線形補間に置き換えるか、組み合わせることで、チェッカーボードアーチファクトを低減した。
• ハード例マイニング（HEM）、適応的学習率スケジューリング、および重み付きバイナリクロスエントロピーとDice損失のハイブリッド損失関数を用いて、訓練を最適化した。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みとスキップ接続は、高解像度衛星画像における温室セグメンテーションにどのように寄与するか？
• RQ2 トランスポジット畳み込みを双線形補間に置き換えることで、セグメンテーション品質とアーチファクト低減にどのような影響を与えるか？
• RQ3 重み付きバイナリクロスエントロピーとDice損失の組み合わせは、標準損失関数と比較してF1スコアおよびAUCスコアにどのような影響を与えるか？
• RQ4 データオーグメンテーションおよびハード例マイニングは、影やはっきりしない大気条件などの困難な状況下でも、モデルの頑健性をどの程度向上させるか？
• RQ5 ベースラインU-Netと提案モデルとの間のアーキテクチャ的差異は、不規則、小型、または影の入った温室の検出性能にどのように影響を与えるか？

主な発見

• 最も優れた性能を示したモデル（モデルB）は、93.29％のF1スコアを達成し、ベースラインU-Netより4.48％の向上を示した。
• モデルBは、影のある、または不規則な形状の温室のような複雑な状況でも優れた性能を示し、ギャップのない正確なセグメンテーションを実現した。
• トランスポジット畳み込みの代わりに双線形補間を使用することで、チェッカーボードアーチファクトが顕著に低減され、セグメンテーションマスクの視覚的品質が向上した。
• ハイブリッド損失関数（重み付きバイナリクロスエントロピー＋Dice損失）は、最高のAUC（95.91％）とF1スコアを達成し、優れた汎化性能と頑健性を示した。
• ハード例マイニングおよびデータオーグメンテーションは、特に大気条件が悪い状況下でも、モデルの性能を顕著に向上させた。
• モデルAは中間的な性能を示し、ベースラインを上回ったが、特に小さな温室や部分的に隠された温室の検出において、モデルBに劣った。