[論文レビュー] ArcticNet: A Deep Learning Solution to Classify Arctic Wetlands

Ziyu Jiang, K. Von Ness+2 more|arXiv (Cornell University)|Jun 1, 2019

Underwater Acoustics Research参考文献 50被引用数 3

ひとこと要約

ArcticNetは、高分解能マルチスペクトル衛星画像（Planet Dove CubeSats）とデジタル顕微地形モデル（ArcticDEM）を用いてアーティックの湿地帯を分類する深層学習モデルであり、RGB、NIR、DEMデータを後期統合によって融合し、意味的セグメンテーションを向上させる。新規の50 km²のアーティック・ウェットランド・データセット（AWD）において93.12％の正確性を達成し、チャネル・フェンや泥炭土壌ボーグなど生態学的に重要な湿地タイプを区別する点で、単一モダリティモデルを上回る性能を示した。

ABSTRACT

Arctic environments are rapidly changing under the warming climate. Of particular interest are wetlands, a type of ecosystem that constitutes the most effective terrestrial long-term carbon store. As permafrost thaws, the carbon that was locked in these wetland soils for millennia becomes available for aerobic and anaerobic decomposition, which releases CO2 and CH4, respectively, back to the atmosphere.As CO2 and CH4 are potent greenhouse gases, this transfer of carbon from the land to the atmosphere further contributes to global warming, thereby increasing the rate of permafrost degradation in a positive feedback loop. Therefore, monitoring Arctic wetland health and dynamics is a key scientific task that is also of importance for policy. However, the identification and delineation of these important wetland ecosystems, remain incomplete and often inaccurate. Mapping the extent of Arctic wetlands remains a challenge for the scientific community. Conventional, coarser remote sensing methods are inadequate at distinguishing the diverse and micro-topographically complex non-vascular vegetation that characterize Arctic wetlands, presenting the need for better identification methods. To tackle this challenging problem, we constructed and annotated the first-of-its-kind Arctic Wetland Dataset (AWD). Based on that, we present ArcticNet, a deep neural network that exploits the multi-spectral, high-resolution imagery captured from nanosatellites (Planet Dove CubeSats) with additional DEM from the ArcticDEM project, to semantically label a Arctic study area into six types, in which three Arctic wetland functional types are included. We present multi-fold efforts to handle the arising challenges, including class imbalance, and the choice of fusion strategies. Preliminary results endorse the high promise of ArcticNet, achieving 93.12% in labelling a hold-out set of regions in our Arctic study area.

研究の動機と目的

• 複雑なマイクロトポグラフィーと非維管束植物による、アーティック地域における信頼性が高く高分解能の湿地地図の不足に対処すること。
• 6つの湿地クラスにわたる500個のアノテート済み30m×30mのパッチを含む、画期的なアーティック・ウェットランド・データセット（AWD）を構築すること。
• RGB、NIR、DEM、NDVIのマルチモーダルデータを統合する深層ニューラルネットワーク、ArcticNetを開発し、アーティックの湿地帯の意味的セグメンテーションを向上させること。
• チャネル・フェンや泥炭土壌ボーグなど、代表が不足しているクラスを特に念頭に置いた、新しいデータ拡張戦略により、湿地データにおけるクラス不均衡を軽減すること。
• 異なる統合戦略とCRFのような空間的一致性を高める後処理技術を用いた、モデルの性能を評価すること。

提案手法

• モデルは、RGB、NIR/DEM/NDVI入力のための別々のブランチを持つパッチベースのマルチモーダルエンコーダー構造を採用し、分類のための特徴マップの後期統合を実施する。
• 正規化差分緑化指数（NDVI）は、式1により計算され、入力モダリティにおける植物の健康状態の表現を強化する。
• クラス分布のバランスを取るために、特にチャネル・フェンや泥炭土壌ボーグのような代表が不足しているクラスに焦点を当てたデータ拡張戦略が設計された。
• 異なるモダリティからの特徴を統合するために後期統合が採用され、単一モダリティアプローチよりも分類の識別能が向上した。
• 条件付きランダムフィールド（CRF）は、セグメンテーションマップの微調整と、孤立した誤分類ピクセルの抑制のための後処理として適用された。
• スライディングウィンドウ推論により、全体の研究領域がセグメンテーションされ、結果が完全な意味的ラベルマップに接合された。

実験結果

リサーチクエスチョン

• RQ1 高分解能マルチスペクトル衛星画像とDEMデータを用いた深層学習モデルは、アーティックの湿地機能タイプを効果的に分類できるか？
• RQ2 RGB、NIR、DEMモダリティの後期統合は、単一モダリティモデルと比較して、分類の正確性をどのように向上させるか？
• RQ3 データ拡張戦略は、アーティックの湿地データセットにおけるクラス不均衡をどの程度軽減できるか？
• RQ4 CRFのような後処理技術は、意味的セグメンテーション出力における空間的一致性を向上させ、ノイズを低減するか？
• RQ5 ArcticNetモデルは他のアーティック地域に一般化可能か？また、異なるスペクトルバンドの組み合わせは、湿地タイプの区別にどのような役割を果たすか？

主な発見

• ArcticNetは、アーティック・ウェットランド・データセットのホールドアウトセットにおいて93.12％のテスト正確性を達成し、6つの湿地タイプを分類する強力な性能を示した。
• 後期統合モデルは、RGBのみのモデルを著しく上回り、湖がチャネル・フェンとして誤分類されるのを防ぎ、全体のセグメンテーションの整合性を向上させた。
• RGBのみのモデルは、可視光のみで湿潤度やバイオマスを検出できないため、チャネル・フェンを大幅に過大評価していたが、後期統合モデルによりこの誤差が低減された。
• CRFの後処理により、湖に誤ってラベルが付与された孤立した誤分類ピクセルが効果的に抑制され、空間的一致性が向上した。
• ドローン画像との定性的な検証により、モデルがシード優勢のチャネル・フェンやモスで覆われた泥炭土壌ボーグといった、主要な湿地特徴を正しく区別していることが確認された。
• 道路などの非湿地特徴（水やボーグとして誤分類される）の分類に限界はあったが、地理情報専門家による評価では、全体のモデル出力は解釈可能で妥当であるとされた。