[論文レビュー] LEFormer: A Hybrid CNN-Transformer Architecture for Accurate Lake Extraction from Remote Sensing Imagery

Ben Chen, Xuechao Zou+5 more|arXiv (Cornell University)|Aug 8, 2023

Flood Risk Assessment and ManagementEnvironmental Science被引用数 3

ひとこと要約

LEFormerは、畳み込みニューラルネットワーク（CNN）エンコーダとマルチスケール空間チャネルアテンションを組み合わせ、軽量なトランスフォーマー・エンコーダとクロスアテンション統合を用いた、リモートセンシング画像からの湖抽出に向けた軽量ハイブリッドCNN-Transformerアーキテクチャを提案する。このアーキテクチャにより、最先端の性能が達成され、表面水データセットでは90.86%のmIoU、青海チベット高原湖データセットでは97.42%のmIoUを達成した。パrameter数はたったの361万で、従来手法よりも20倍少ない。精度と効率の両面で優れた性能を発揮している。

ABSTRACT

Lake extraction from remote sensing images is challenging due to the complex lake shapes and inherent data noises. Existing methods suffer from blurred segmentation boundaries and poor foreground modeling. This paper proposes a hybrid CNN-Transformer architecture, called LEFormer, for accurate lake extraction. LEFormer contains three main modules: CNN encoder, Transformer encoder, and cross-encoder fusion. The CNN encoder effectively recovers local spatial information and improves fine-scale details. Simultaneously, the Transformer encoder captures long-range dependencies between sequences of any length, allowing them to obtain global features and context information. The cross-encoder fusion module integrates the local and global features to improve mask prediction. Experimental results show that LEFormer consistently achieves state-of-the-art performance and efficiency on the Surface Water and the Qinghai-Tibet Plateau Lake datasets. Specifically, LEFormer achieves 90.86% and 97.42% mIoU on two datasets with a parameter count of 3.61M, respectively, while being 20 minor than the previous best lake extraction method. The source code is available at https://github.com/BastianChen/LEFormer.

研究の動機と目的

• リモートセンシングデータにおける複雑な湖の形状とノイズの影響を軽減するための湖セグメンテーションの課題に対処すること。
• 既存のCNNおよびトランスフォーマー・モデルが制限を受ける境界精度とフォアグラウンドモデリングの向上。
• 局所的およびグローバルな特徴抽出を統合した、軽量で効率的なアーキテクチャの設計。
• ベンチマーク湖セグメンテーションデータセットにおいて、精度と計算効率の両面で最先端の結果を達成すること。

提案手法

• モデルは、深度分離畳み込みを用いたCNNエンコーダと、マルチスケール空間チャネルアテンション（MSCA）モジュールを組み合わせ、局所的な空間的詳細とマルチスケール特徴抽出を強化する。
• パッチベース処理による軽量なトランスフォーマー・エンコーダが、長距離依存性とグローバルなコンテキストを捉え、計算コストを低減する。
• クロスエンコーダー統合モジュールが、CNNエンコーダとトランスフォーマー・エンコーダからの特徴を統合し、最終的なマスク予測を向上させる。
• MSCAモジュールは、拡張畳み込みとCBAMを組み合わせ、動的にマルチスケール特徴にアテンションを集中させ、表現力を向上させる。
• 段階的ダウンサンプリングとアテンション機構を最適化し、ハイパーパramータを精度と効率に最適化する。
• 標準的なセグメンテーション損失を用いて、表面水データセットおよび青海チベット高原湖データセット上でエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-Transformerアーキテクチャは、リモートセンシング画像からの湖抽出における境界精度とフォアグラウンドモデリングを向上させることができるか？
• RQ2 局所的（CNN）とグローバル（トランスフォーマー）特徴学習を組み合わせることで、複雑な湖データセットにおけるセグメンテーション性能にどのような影響を与えるか？
• RQ3 湖セグメンテーションタスクにおいて、モデルの複雑さ、パラメータ数、パフォーマンスの最適なバランスは何か？
• RQ4 マルチスケールアテンションとクロスエンコーダー統合は、特徴表現とセグメンテーション精度をどの程度向上させるか？

主な発見

• LEFormerは、表面水データセットで90.86%のmIoU、青海チベット高原湖データセットで97.42%のmIoUを達成し、新たな最先端のパフォーマンスを樹立した。
• モデルはたった361万パラメータと12.7億FLOPsで、前回の最良手法であるMSNANETと比較して20倍小さく、FLOPsでは48倍も効率的である。
• アブレーションスタディの結果、CNNにMSCAを組み合わせ、トランスフォーマーにPTL（パッチワイド自己アテンション）を適用した組み合わせが最も高い精度を示し、SWデータセットで0.17%、QTPLデータセットで0.20%のmIoU向上を達成した。
• 深度分離畳み込みとMSCAの導入により、mIoUはそれぞれ0.28%および0.17%向上し、特徴学習における有効性が裏付けられた。
• CNNエンコーダを削除するとmIoUが0.38%低下し、PTLを削除すると0.07%低下するなど、両者の重要性が確認された。
• LEFormerは、SegFormer、SegNeXt、MSNANETを含むすべての比較手法を、両方のデータセットにおいて精度と効率の両面で上回った。