[論文レビュー] Sea Ice Extraction via Remote Sensed Imagery: Algorithms, Datasets, Applications and Challenges

Anzhu Yu, Wenjun Huang+6 more|arXiv (Cornell University)|Jun 1, 2023

Arctic and Antarctic ice dynamicsEarth and Planetary Sciences被引用数 3

ひとこと要約

本稿は、2016年から2023年までのリモートセンシング画像からの深層学習に基づく海氷抽出（SIE）について包括的なレビューを提供し、アルゴリズムを古典的セグメンテーション、機械学習、深層学習のアプローチに分類している。SAR、光学、ハイブリッドデータセットを評価し、気候科学、航行、GIS分野への応用を概説し、大規模モデルや高度な極域プロジェクションを含む主な課題と今後の方向性を特定している。

ABSTRACT

The deep learning, which is a dominating technique in artificial intelligence, has completely changed the image understanding over the past decade. As a consequence, the sea ice extraction (SIE) problem has reached a new era. We present a comprehensive review of four important aspects of SIE, including algorithms, datasets, applications, and the future trends. Our review focuses on researches published from 2016 to the present, with a specific focus on deep learning-based approaches in the last five years. We divided all relegated algorithms into 3 categories, including classical image segmentation approach, machine learning-based approach and deep learning-based methods. We reviewed the accessible ice datasets including SAR-based datasets, the optical-based datasets and others. The applications are presented in 4 aspects including climate research, navigation, geographic information systems (GIS) production and others. It also provides insightful observations and inspiring future research directions.

研究の動機と目的

• 2016年から2023年までのリモートセンシング画像を用いた海氷抽出（SIE）における最新の進展を体系的にレビューし、分類すること。特に深層学習手法に焦点を当てる。
• SARベース、光学、ハイブリッドデータセットを含む、利用可能なオープンソースデータセットを収集・分析し、分類およびセグメンテーションに用いること。
• SIEの実用的応用、気候研究、極域航行、地理情報システム（GIS）、地図作成分野における役割を検討すること。
• SIEにおける継続的な技術的課題、特にデータ品質、モデルの汎化性、極域プロジェクションの制限を特定すること。
• 今後の研究方向性を提案すること、特に大規模モデル、動的で多次元的な極域プロジェクション、多次元マッピングの分野に注目すること。

提案手法

• SIE手法を3つのグループに分類：古典的画像セグメンテーション、機械学習ベースの手法、深層学習ベースの手法。特に深層畳み込みニューラルネットワークを用いた意味セグメンテーションに重点を置く。
• SAR（例：RADARSAT、TerraSAR-X）、光学（例：Sentinel-2、Landsat）、統合データセットを含む35以上の公開データセットをレビュー・統合し、解像度、カバー範囲、ラベル品質を評価する。
• SARと光学データの統合によるSIE精度の向上を分析。テクスチャ情報（光学）と全天候性（SAR）の相補的利点を活用する。
• ドローンおよび氷山探査船搭載の航空画像を、特定地域における高解像度・リアルタイムSIEの補足的データソースとして検討する。
• 極域地図投影法の評価、非特異的ガウス投影およびウェブメルカトル変換を含め、歪みを低減し、ウェブベース地図配信を可能にする。
• 今後の手法的アプローチを提案：機械学習駆動の投影設計、動的で多次元的投影、時間変動する海氷データの多次元可視化。

実験結果

リサーチクエスチョン

• RQ1 2016年から2023年までの深層学習ベースの手法は、海氷抽出においてどのように進化したのか。古典的手法および機械学習手法と比較して、どのような主な利点があるか。
• RQ2 SIEタスクに使用可能な公開のSAR、光学、ハイブリッドリモートセンシングデータセットの現在の限界と長所は何か。
• RQ3 SIE手法は、気候モデル化、極域航行、GISプロダクションといった下流応用をどのように支援しているか。
• RQ4 特に投影歪みとデータ可視化の観点から、極域地図作成における主な課題は何か。
• RQ5 大規模モデルや動的・多次元的データ表現の文脈において、SIEを前進させるために最も有望な今後の研究方向性は何か。

主な発見

• 深層学習に基づく意味セグメンテーションが、古典的手法および機械学習手法と比較して顕著に精度と耐障害性を向上させたため、海氷抽出の主流となった。
• SARベースのデータセットは、メートル級の高解像度と全天候性を備えており、細粒度の海氷マッピングに最適であるが、スぺークルノイズや複雑な散乱特性に起因する課題を抱えている。
• 光学および赤外リモートセンシングは、テクスチャとアルベド情報の価値ある情報を提供するが、極昼・極夜のサイクルや軌道制約のため、データギャップが生じる。
• 受動マイクロ波リモートセンシングは、グローバルカバーを提供するが、キロメートル級の解像度であるため、詳細なSIEおよびマッピングタスクには不十分である。
• SARと光学データの統合により、高解像度の構造的情報をスペクトル反射率データと組み合わせることで、SIE性能が向上する。
• 現在の極域地図作成実務では、標準的投影法における著しい歪みが大きな課題となっている。非特異的ガウス投影およびステレオグラフィック投影が、極域に適した代替手段として提案されている。