[論文レビュー] MACU-Net Semantic Segmentation from High-Resolution Remote Sensing Images.

Rui Li, Chenxi Duan+1 more|arXiv (Cornell University)|Jul 26, 2020

Medical Image Segmentation Techniques被引用数 6

ひとこと要約

本稿では、高解像度のリモートセンシング画像の意味的理解に適した、マルチスケールスキップ接続と非対称畳み込みブロックを備えたU-Netベースのアーキテクチャ、MACU-Netを提案する。エンコーダー・デコーダー層間でマルチスケール特徴を統合し、非対称畳み込みによって表現能力を向上させることで、MACU-Netは2つの衛星由来データセットにおいてU-Net、SegNet、DeepLab V3+を上回る性能を発揮する。

ABSTRACT

Semantic segmentation of remote sensing images plays an important role in land resource management, yield estimation, and economic assessment. U-Net is a sophisticated encoder-decoder architecture which has been frequently used in medical image segmentation and has attained prominent performance. And asymmetric convolution block can enhance the square convolution kernels using asymmetric convolutions. In this paper, based on U-Net and asymmetric convolution block, we incorporate multi-scale features generated by different layers of U-Net and design a multi-scale skip connected architecture, MACU-Net, for semantic segmentation using high-resolution remote sensing images. Our design has the following advantages: (1) The multi-scale skip connections combine and realign semantic features contained both in low-level and high-level feature maps with different scales; (2) the asymmetric convolution block strengthens the representational capacity of a standard convolution layer. Experiments conducted on two remote sensing image datasets captured by separate satellites demonstrate that the performance of our MACU-Net transcends the U-Net, SegNet, DeepLab V3+, and other baseline algorithms.

研究の動機と目的

• 高解像度リモートセンシング画像における意味的理解の課題に取り組むこと。これは、多様な空間スケールにわたる正確な特徴表現が求められる。
• U-Netのエンコーダー・デコーダー構造の異なるレベルから得られるマルチスケール特徴を統合することで、特徴表現を向上させること。
• 標準的な正方形カーネルではなく、非対称畳み込みブロックを用いることで、畳み込み層の表現能力を向上させること。
• 階層的特徴と非対称畳み込みを組み合わせた、優れたセグメンテーション性能を発揮するロバストなアーキテクチャを開発すること。

提案手法

• 提案されたMACU-Netは、新規のマルチスケールスキップ接続機構を用いて、低レベルおよび高レベルの特徴マップからマルチスケール特徴を統合する。
• 標準的な畳み込み層の代わりに非対称畳み込みブロックを組み込み、パラメータ数を抑えつつより大きな感受野を実現する。
• U-Netのエンコーダー・デコーダー構造を維持するが、異なるスケールの特徴を整合させるようにスキップ接続を強化する。
• 層間でマルチスケール特徴を再調整・統合することで、空間的詳細を保持するとともに、意味的文脈を豊かにする。
• リモートセンシング画像データセット上で、標準的なセグメンテーション損失関数を用いてエンドツーエンドで学習する。
• 特徴の再調整とマルチスケール統合に注力することで、モデルの複雑さを著しく増加させることなく、セグメンテーション精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 U-Netアーキテクチャの異なるレベルの特徴を統合することで、マルチスケールスキップ接続が高解像度リモートセンシング画像の意味的理解性能を向上させることができるか？
• RQ2 非対称畳み込みブロックは、リモートセンシング画像のセグメンテーションタスクにおいて、標準的な畳み込み層と比較してどの程度特徴表現を向上させるか？
• RQ3 MACU-Netは、U-Net、SegNet、DeepLab V3+といった既存のモデルと比較して、高解像度衛星画像におけるセグメンテーション精度でどの程度優れているか？
• RQ4 スキップ接続を通じたマルチスケール特徴の統合は、空間的詳細の保持と意味的整合性の向上に寄与するか？

主な発見

• MACU-Netは、2つの高解像度リモートセンシング画像データセットにおいて、U-Net、SegNet、DeepLab V3+を上回る優れた性能を達成した。
• マルチスケールスキップ接続は、異なるスケールの低レベルおよび高レベルの特徴マップからの意味的特徴を効果的に組み合わせ、再調整する。
• 非対称畳み込みブロックは、パラメータ数を著しく増加させることなく、ネットワークの表現能力を向上させ、特徴学習を改善した。
• 提案されたアーキテクチャは、異なる衛星で撮影された多様なリモートセンシングシーンにおいて一貫した性能向上を示した。
• モデルの設計は、特徴の階層構造と空間的詳細の保持を効果的にバランスさせ、より正確なセグメンテーション出力をもたらした。