[論文レビュー] Unsupervised domain adaptation semantic segmentation of high-resolution remote sensing imagery with invariant domain-level prototype memory

Jingru Zhu, Ya Guo+4 more|arXiv (Cornell University)|Aug 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、高解像度リモートセンシング（HRS）画像のセマンティックセグメンテーションのための、ドメイン不変のプロトタイプメモリを用いてドメイン間の特徴表現を安定化させる、新しい非教師ありドメイン適応フレームワークであるMemoryAdaptNetを提案する。カテゴリ注釈駆動のコンテキスト集約とエントロピーに基づく疑似ラベルフィルタリングを統合することで、3つのクロスドメインHRSセグメンテーションベンチマークで最先端の性能を達成し、ターゲットアノテーションを一切必要とせず、ドメインシフトの影響を顕著に低減する。

ABSTRACT

Semantic segmentation is a key technique involved in automatic interpretation of high-resolution remote sensing (HRS) imagery and has drawn much attention in the remote sensing community. Deep convolutional neural networks (DCNNs) have been successfully applied to the HRS imagery semantic segmentation task due to their hierarchical representation ability. However, the heavy dependency on a large number of training data with dense annotation and the sensitiveness to the variation of data distribution severely restrict the potential application of DCNNs for the semantic segmentation of HRS imagery. This study proposes a novel unsupervised domain adaptation semantic segmentation network (MemoryAdaptNet) for the semantic segmentation of HRS imagery. MemoryAdaptNet constructs an output space adversarial learning scheme to bridge the domain distribution discrepancy between source domain and target domain and to narrow the influence of domain shift. Specifically, we embed an invariant feature memory module to store invariant domain-level context information because the features obtained from adversarial learning only tend to represent the variant feature of current limited inputs. This module is integrated by a category attention-driven invariant domain-level context aggregation module to current pseudo invariant feature for further augmenting the pixel representations. An entropy-based pseudo label filtering strategy is used to update the memory module with high-confident pseudo invariant feature of current target images. Extensive experiments under three cross-domain tasks indicate that our proposed MemoryAdaptNet is remarkably superior to the state-of-the-art methods.

研究の動機と目的

• ソースドメインとターゲットドメイン間の分布シフトに起因する、高解像度リモートセンシング（HRS）画像のセマンティックセグメンテーションにおけるドメインシフトの課題に対処すること。
• ターゲットデータの高価な高密度アノテーションに依存を減らすために、HRSセグメンテーションにおける非教師ありドメイン適応（UDA）を可能にすること。
• メモリモジュールを用いてドメインレベルの不変表現を学習することで、特徴の頑健性と一般化性能を向上させること。
• エントロピーに基づくフィルタリングとコンテキスト集約を用いて、疑似ラベルの品質と特徴表現の安定性を向上させること。

提案手法

• MemoryAdaptNetは、ソースドメインとターゲットドメイン間の特徴分布を整合させる出力空間における敵対的学習スキームを採用する。
• ドメイン不変のコンテキスト表現を保存・更新するための、不変ドメインレベルプロトタイプメモリモジュールが、ターゲットドメインからの高信頼度の疑似ラベル付き特徴を用いて動作する。
• カテゴリ注釈駆動のモジュールがコンテキスト特徴を集約し、メモリ内の不変表現を精緻化・安定化する。
• エントロピーに基づくフィルタリング戦略により、高信頼度の疑似ラベルのみがメモリの更新に使用され、誤りのある予測への耐性が向上する。
• 敵対的学習とメモリベースの特徴正則化を通じて、セグメンテーションとドメイン整合を同時に最適化する。
• メモリモジュールは、トレーニング中に繰り返し更新され、疑似ラベル付きターゲット特徴を用いてドメイン不変プロトタイプを継続的に精緻化する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変のプロトタイプメモリは、非教師ありHRSセマンティックセグメンテーションにおけるドメインシフトを効果的に低減できるか？
• RQ2 カテゴリに敏感なコンテキスト集約を組み込むことで、クロスドメイン環境下での特徴表現の安定性はどのように向上するか？
• RQ3 エントロピーに基づく疑似ラベルフィルタリングは、HRS画像のUDAにおけるメモリ更新の信頼性をどの程度向上させるか？
• RQ4 提案されたメモリモジュールは、多様なHRSセグメンテーションベンチマークで一貫した性能向上をもたらすか？
• RQ5 複数のドメイン適応設定下で、MemoryAdaptNetは最先端のUDA手法と比較して、頑健性と精度の面で優れているか？

主な発見

• MemoryAdaptNetは、3つのクロスドメインHRSセマンティックセグメンテーションタスクで最先端の性能を達成し、既存のSOTA手法を上回る。
• アブレーションスタディにより、不変メモリモジュールとエントロピーに基づくフィルタリングの両方が、セグメンテーション精度を顕著に向上させることを確認した。
• 学習されたドメイン不変プロトタイプを通じて特徴表現を安定化させることで、ドメインシフトの影響が低減された。
• カテゴリ注釈メカニズムにより、ターゲットドメインにおける意味的に関連するコンテキストに注目することで、特徴の識別性能が向上した。
• 限られたまたは一切のターゲットアノテーションでも高い性能を維持でき、実世界のUDAシナリオにおける強力な一般化性能を示した。
• VisDrone、Potsdam、Vaihingenを含む多様なデータセットにおいて、複数のドメイン適応設定下で一貫した性能向上が達成された。