[論文レビュー] GAMUS: A Geometry-aware Multi-modal Semantic Segmentation Benchmark for Remote Sensing Data

Zhitong Xiong, Sining Chen+3 more|arXiv (Cornell University)|May 24, 2023

Remote Sensing and LiDAR ApplicationsEnvironmental Science被引用数 3

ひとこと要約

本稿では、コアライメントされたRGBおよび正規化デジタル表面モデル（nDSM）データを用いた、大規模かつ幾何学的感度を持つマルチモーダルセマンティックセグメンテーションベンチマーク「GAMUS」を紹介する。本研究では、トーケンレベルでの特徴を適応的に統合することで、既存手法と比較して全クラスにおいて顕著に向上したmIoUを達成する、新規のトランスフォーマー基盤の間接的マルチモーダル統合（TIMF）モジュールを提案する。

ABSTRACT

Geometric information in the normalized digital surface models (nDSM) is highly correlated with the semantic class of the land cover. Exploiting two modalities (RGB and nDSM (height)) jointly has great potential to improve the segmentation performance. However, it is still an under-explored field in remote sensing due to the following challenges. First, the scales of existing datasets are relatively small and the diversity of existing datasets is limited, which restricts the ability of validation. Second, there is a lack of unified benchmarks for performance assessment, which leads to difficulties in comparing the effectiveness of different models. Last, sophisticated multi-modal semantic segmentation methods have not been deeply explored for remote sensing data. To cope with these challenges, in this paper, we introduce a new remote-sensing benchmark dataset for multi-modal semantic segmentation based on RGB-Height (RGB-H) data. Towards a fair and comprehensive analysis of existing methods, the proposed benchmark consists of 1) a large-scale dataset including co-registered RGB and nDSM pairs and pixel-wise semantic labels; 2) a comprehensive evaluation and analysis of existing multi-modal fusion strategies for both convolutional and Transformer-based networks on remote sensing data. Furthermore, we propose a novel and effective Transformer-based intermediary multi-modal fusion (TIMF) module to improve the semantic segmentation performance through adaptive token-level multi-modal fusion.The designed benchmark can foster future research on developing new methods for multi-modal learning on remote sensing data. Extensive analyses of those methods are conducted and valuable insights are provided through the experimental results. Code for the benchmark and baselines can be accessed at \url{https://github.com/EarthNets/RSI-MMSegmentation}.

研究の動機と目的

• マルチモーダルリモートセンシングセマンティックセグメンテーションのための大規模で多様かつ統合的なベンチマークの不足に対処すること。
• 畳み込みニューラルネットワークおよびトランスフォーマー基盤のネットワークにおいて、マルチモーダル統合戦略の公平かつ包括的な評価を可能にすること。
• nDSMからの幾何的情報がセマンティックセグメンテーション性能に与える効果を調査すること。
• リモートセンシングデータのための新規で適応的かつトーケンレベルのマルチモーダル統合メカニズムの開発と検証すること。
• 地球観測分野における今後のマルチモーダル学習研究のための標準化されたプラットフォームを提供すること。

提案手法

• GAMUSベンチマークは、6つのクラス（地面、植生、建物、水、道路、木）にわたるピxls単位のセマンティックアノテーションが付与された、1,000組の高解像度（0.33m）のコアライメント済みRGBおよびnDSM画像ペアを含む。
• CNNおよびトランスフォーマー基盤のアーキテクチャ上でマルチモーダル統合戦略を比較するための包括的な評価プロトコルが確立された。
• 提案されたTIMFモジュールは、トランスフォーマーエンコーダー内でのクロスアテンション機構を用いて、RGBおよびnDSM特徴をトーケンレベルで適応的かつ学習可能な形で統合する。
• TIMFモジュールは、モダリティ固有の特徴を学習可能な統合ゲートを通じて統合し、クロスモダリティ表現に注目することで特徴の識別能を向上させる。
• ベンチマークは教師ありおよびゼロショット評価プロトコルをサポートしており、一般化性能およびロバストネスの分析が可能である。
• 分類精度に与える統合戦略、モダリティの重要性、モデルアーキテクチャの影響を分析するための広範なアブレーションスタディが実施された。

Figure 1 : Example images of the GAMUS dataset. Images from left to right are the RGB modality, the nDSM modality, the blending visualization image, and the segmentation label.

実験結果

リサーチクエスチョン

• RQ1 nDSMからの幾何的情報がリモートセンシングにおけるセマンティックセグメンテーション性能に与える相対的寄与度は何か？
• RQ2 高解像度リモートセンシングデータにおいて、異なるマルチモーダル統合戦略は性能およびロバストネスの面でどのように比較されるか？
• RQ3 幾何学的感度統合を用いる場合、トランスフォーマー基盤のアーキテクチャは畳み込みニューラルネットワークを上回る性能を示すか？
• RQ4 RGBおよびnDSMモダリティの適応的かつトーケンレベルの統合を最適化する方法は何か？
• RQ5 GAMUSで学習されたマルチモーダルモデルは、未観測の地域や状況に一般化できるか？

主な発見

• 提案されたTIMFモジュールは、GAMUSベンチマークで最高の平均交差率（mIoU）0.7638を達成し、すべてのベースライン手法を上回った。
• 特にTIMFモジュールを組み合わせたトランスフォーマー基盤のモデルは、畳み込みニューラルネットワークの対応する手法と比較して顕著に高いmIoUを達成し、最良のCNNベースラインと比較して10.5％の相対的改善を示した。
• バックボーンにSegFormerを用いたCMXモデルはmIoU 0.7523を達成し、自己注意機構によるグローバルコンテキストの捉え方の優位性を示した。
• nDSMの幾何的構造を明示的にモデル化する統合戦略（例：ShapeConvやVCD）は、単純な連結や早期統合と比較して一貫した性能向上を示した。
• TIMFモジュールのmIoUは、地面クラスで0.8023、植生で0.6797、建物で0.8452、水で0.6955、道路で0.7368、木で0.8232を記録し、多様な土地被覆タイプにわたる優れた一般化性能を示した。
• 定性的な結果から、TIMFは特に混合テクスチャーや高さの異なる都市部において、より鋭く整合性のあるセグメンテーション境界を生成することが分かった。

Figure 2 : Data collection and processing of the GAMUS dataset.