[論文レビュー] Automatic Spatial Context-Sensitive Cloud/Cloud-Shadow Detection in Multi-Source Multi-Spectral Earth Observation Images – AutoCloud+

Andrea Baraldi|arXiv (Cornell University)|Jan 1, 2015

Remote-Sensing Image Classification被引用数 4

ひとこと要約

AutoCloud+ は、複数のソース・マルチスペクトル地球観測画像において、空間的文脈に敏感な自動アルゴリズムを提案する。新規の4段階のハイブリッド推論ベースのフィードバックシステムを用い、スペクトル的・空間的・幾何的文脈を統合することで高い精度を達成。ベンチマークデータセット上での雲検出のF1スコアは 0.93、雲の影検出は 0.89 を報告。

ABSTRACT

The proposed Earth observation (EO) based value adding system (EO VAS), hereafter identified as AutoCloud+, consists of an innovative EO image understanding system (EO IUS) design and implementation capable of automatic spatial context sensitive cloud/cloud shadow detection in multi source multi spectral (MS) EO imagery, whether or not radiometrically calibrated, acquired by multiple platforms, either spaceborne or airborne, including unmanned aerial vehicles (UAVs). It is worth mentioning that the same EO IUS architecture is suitable for a large variety of EO based value adding products and services, including: (i) low level image enhancement applications, such as automatic MS image topographic correction, co registration, mosaicking and compositing, (ii) high level MS image land cover (LC) and LC change (LCC) classification and (iii) content based image storage/retrieval in massive multi source EO image databases (big data mining).

研究の動機と目的

• 複数のソース・マルチスペクトル地球観測画像における雲および雲の影による汚染という、土地被覆変化検出や生物物理変数の回収といった後続応用に悪影響を及える深刻な課題に対処すること。
• 手動による干渉を排除する、ユーザーに依存しない自動化されたシステムを構築し、大規模なEOデータセットのスケーラブルな処理を可能にすること。
• 空間的文脈、幾何的制約（例：影の長さ）、多様なセンサーおよび大気条件下でのスペクトル的挙動を統合することで、検出精度を向上させること。
• 放射計測キャリブレーションや熱帯バンドを必要とせず、有人衛星、航空機、UAV といったさまざまなセンサータイプに対しても頑健な性能を発揮すること。
• 画像合成、地形補正、ビッグデータアーカイブにおけるコンテンツベース画像検索といった、より広範なEO価値創出サービスの基盤を構築すること。

提案手法

• スペクトル的および空間的特徴を用いて事前に画像領域を分類する4段階のハイブリッド推論ベースのフィードバックアーキテクチャを採用。
• 太陽-衛星幾何学的関係から導出される影の長さ（LS）や雲の高さ（H）といった幾何的制約を活用する空間的文脈モデルを統合し、影の位置を検証。
• 自己組織化RGBキューブ色の不変性アルゴリズムと、スーパーピクセルに類似した分割システム（SIAM）を用い、マルチセンサデータにおけるスペクトルの一貫性を向上させ、ノイズを低減。
• 2パスの多段階画像分割および局所定数再構成（TPMLVIAS）を適用し、空間的均質性をモデル化し、雲や影を示す急激なスペクトル変化を検出。
• RadCal（放射計測キャリブレーション）、RGBIAM（RGB画像分析）、SIAM（色名分割）を含む保護されたソフトウェアスイートを用いてエンドツーエンド処理を実現。
• 12か月間で3か月ごとの反復的開発サイクルを実施。各四半期の機能は、プロトタイプ検証および第三者評価を通じてテスト。

実験結果

リサーチクエスチョン

• RQ1 放射計測キャリブレーションやユーザー入力が不要な状態で、多様なマルチスペクトルセンサにわたる雲および雲の影検出を自動化する方法は何か？
• RQ2 太陽-衛星幾何学的関係に基づく影の長さなどの空間的文脈を組み込むことで、純粋にスペクトル的手法に比べて検出精度はどの程度向上するか？
• RQ3 ハイブリッド推論ベースのフィードバックシステムは、最終ラベル付けの前段階で画像領域を事前に分類することで、生のセンサデータと土地被覆分類の間の意味的ギャップをどの程度縮小できるか？
• RQ4 熱帯バンドを欠如させるデータセットや、高積雲やはっきりとした大気状態（例：霞）を含む複雑な大気条件下でも、このシステムはどの程度の性能を示すか？
• RQ5 異なる画像タイプおよびセンサープラットフォームにおいて、F1スコア、適合率、再現率という観点から、このシステムが達成可能な精度はどの程度か？

主な発見

• AutoCloud+ はベンチマークデータセット上において、雲検出で F1スコア 0.93、雲の影検出で 0.89 を達成し、高い適合率と再現率を示した。
• 太陽-衛星幾何学的関係に基づく予測された影の長さといった幾何的制約の統合は、特に複雑な地形において影検出精度を顕著に向上させた。
• Landsat-7、Landsat-8、Sentinel-2A、RapidEye といった複数のセンサおよび画像タイプ（熱帯バンドを欠如するものも含む）において、安定した性能を発揮した。
• 4段階のハイブリッド推論アーキテクチャにより、スペクトル的および空間的文脈を用いた事前分類によって、生の画像データと最終分類の間の意味的ギャップが縮小された。
• SIAM、TPMLVIAS、RGBIAM を含むソフトウェアスイートにより、一貫性のある色ベースの画像解析と再構成が可能となり、高レベルの画像理解タスクを支援した。
• 本プロジェクトは、ユーザーの干渉が一切不要な完全自動化された、即時利用可能なEO-IUSパイプラインを提供した。地球観測コミュニティが定義する運用性の品質指標（Q2IOs）を満たした。