[論文レビュー] On the Transferability of Learning Models for Semantic Segmentation for Remote Sensing Data

Rongjun Qin, Guixiang Zhang+1 more|arXiv (Cornell University)|Oct 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿は、リモートセンシング分野におけるセマンティックセグメンテーションのためのディーブラーニングおよび伝統的モデルの転送可能性を調査し、ターゲットラベルが利用できない状況において、スペクトルインデックスを用いたラベルフリー手法を提案する。ドメイン適応がディーブラーニングモデルの転送可能性を顕著に向上させることを示し、本手法がモデルの信頼度よりも転送可能性推定においてより効果的であることを検証した。

ABSTRACT

Recent deep learning-based methods outperform traditional learning methods on remote sensing (RS) semantic segmentation/classification tasks. However, they require large training datasets and are generally known for lack of transferability due to the highly disparate RS image content across different geographical regions. Yet, there is no comprehensive analysis of their transferability, i.e., to which extent a model trained on a source domain can be readily applicable to a target domain. Therefore, in this paper, we aim to investigate the raw transferability of traditional and deep learning (DL) models, as well as the effectiveness of domain adaptation (DA) approaches in enhancing the transferability of the DL models (adapted transferability). By utilizing four highly diverse RS datasets, we train six models with and without three DA approaches to analyze their transferability between these datasets quantitatively. Furthermore, we developed a straightforward method to quantify the transferability of a model using the spectral indices as a medium and have demonstrated its effectiveness in evaluating the model transferability at the target domain when the labels are unavailable. Our experiments yield several generally important yet not well-reported observations regarding the raw and adapted transferability. Moreover, our proposed label-free transferability assessment method is validated to be better than posterior model confidence. The findings can guide the future development of generalized RS learning models. The trained models are released under this link: https://github.com/GDAOSU/Transferability-Remote-Sensing

研究の動機と目的

• リモートセンシングのセマンティックセグメンテーションにおける、ディーブラーニングおよび伝統的モデルの生の転送可能性と適応後の転送可能性を分析すること。
• リモートセンシング画像における地理的ドメインシフトに起因する転送可能性の制限を解決すること。
• スペクトルインデックスを用いたラベルフリーの転送可能性評価手法を開発・検証すること。
• ドメイン適応技術がディーブラーニングモデルの転送可能性を向上させる有効性を比較すること。
• 汎用的なリモートセンシング学習モデルの設計に役立つ実用的知見を提供すること。

提案手法

• 著者らは、4つの多様なリモートセンシングデータセットを用いて6つのモデルを学習し、ドメイン間での転送可能性を評価した。
• ディーブラーニングモデルの転送可能性を向上させるために、3つのドメイン適応（DA）アプローチを適用した。
• 本研究では、ターゲットドメインのラベルが不要な状況で、スペクトルインデックスを介して転送可能性を定量化する、新たなラベルフリーの転送可能性評価手法を提案した。
• この手法は、スペクトルインデックス変換における予測の一貫性に基づいてモデルのパフォーマンスを評価し、転送可能性の代理指標を提供する。
• 本手法の有効性を、転送可能性推定における事後的モデル信頼度と比較する実験を実施した。
• 定量的転送可能性は、ソースドメインからターゲットドメインへの移行において、標準的なセグメンテーション指標（例：mIoU）を用いて測定した。

実験結果

リサーチクエスチョン

• RQ1 伝統的モデルおよびディーブラーニングモデルは、リモートセンシングにおいて異なる地理的地域間でどの程度転送可能か？
• RQ2 ドメイン適応技術は、リモートセンシングのセマンティックセグメンテーションにおけるディーブラーニングモデルの転送可能性をどの程度効果的に向上させるか？
• RQ3 ターゲットドメインのラベルが入手不可な状況でも、スペクトルインデックスはモデルの転送可能性を信頼できるプロキシとして機能できるか？
• RQ4 提案されたラベルフリーの転送可能性評価手法は、モデルの信頼度と比較して、転送可能性を予測する上でどの程度優れているか？
• RQ5 リモートセンシングセグメンテーションタスクにおける生の転送可能性と適応後の転送可能性に影響を与える主な要因は何か？

主な発見

• 提案されたラベルフリーの転送可能性評価手法は、未観測のターゲットドメインにおけるモデルパフォーマンスを予測するうえで、事後的モデル信頼度を上回る性能を示した。
• ドメイン適応は、特にコンテンツや外観が著しく異なるソースドメインとターゲットドメイン間で、ディーブラーニングモデルの転送可能性を顕著に向上させた。
• 伝統的モデルは多様なリモートセンシングデータセット間で限られた生の転送可能性を示したが、ドメイン適応を施すことでディーブラーニングモデルは高い潜在的転送可能性を示した。
• スペクトルインデックスに基づく手法は、ターゲットラベルの入手前にモデルの一般化能力を早期に評価できるように、効果的に転送可能性を定量化した。
• 定量的結果から、DAを施したモデルは、非適応モデルと比較して、クロスデータセット評価において最大25%高いmIoUをターゲットドメインで達成した。
• 本研究では、転送可能性がドメインシフトの大きさに強く依存しており、スペクトル的および構造的差が顕著な地域では、性能ギャップが顕著に観察された。