[論文レビュー] Multi-Head Linear Attention Generative Adversarial Network for Thin Cloud Removal

Chenxi Duan, Rui Li|arXiv (Cornell University)|Dec 20, 2020

Advanced Image Fusion Techniques参考文献 49被引用数 5

ひとこと要約

本論文では、リモートセンシング画像における薄い雲除去のための新しい深層学習フレームワーク、Multi-Head Linear Attention Generative Adversarial Network (MLAGAN) を提案する。エンコーダ・デコーダアーキテクチャ内に統合されたマルチヘッド線形アテンション機構を活用することで、長距離の空間的依存関係を効果的にモデル化し、雲に覆われた領域を再構築するとともに、下層の地表面特徴を保持する。RICE1およびRICE2データセットにおいて最先端の性能を達成した。

ABSTRACT

In remote sensing images, the existence of the thin cloud is an inevitable and ubiquitous phenomenon that crucially reduces the quality of imageries and limits the scenarios of application. Therefore, thin cloud removal is an indispensable procedure to enhance the utilization of remote sensing images. Generally, even though contaminated by thin clouds, the pixels still retain more or less surface information. Hence, different from thick cloud removal, thin cloud removal algorithms normally concentrate on inhibiting the cloud influence rather than substituting the cloud-contaminated pixels. Meanwhile, considering the surface features obscured by the cloud are usually similar to adjacent areas, the dependency between each pixel of the input is useful to reconstruct contaminated areas. In this paper, to make full use of the dependencies between pixels of the image, we propose a Multi-Head Linear Attention Generative Adversarial Network (MLAGAN) for Thin Cloud Removal. The MLA-GAN is based on the encoding-decoding framework consisting of multiple attention-based layers and deconvolutional layers. Compared with six deep learning-based thin cloud removal benchmarks, the experimental results on the RICE1 and RICE2 datasets demonstrate that the proposed framework MLA-GAN has dominant advantages in thin cloud removal.

研究の動機と目的

• リモートセンシング画像における薄い雲の汚染という課題に取り組むこと。これは画像品質の低下と利用可能性の制限を引き起こす。
• 薄い雲に覆われた領域における下層の地表面情報の保持。なぜなら、薄い雲は地表面の特徴を隠すものの、完全に隠すわけではないからである。
• 画素間の空間的依存関係の活用。なぜなら、近隣の領域はしばしば類似した地表面特性を共有するからである。
• 長距離の文脈的関係をモデル化することで、薄い雲に影響を受ける領域を再構築する深層学習モデルの開発。
• ベンチマークデータセットにおいて、既存の深層学習ベースの薄い雲除去手法を上回ること。

提案手法

• 提案された MLAGAN は、特徴の抽出と再構築を目的とした残差ブロックを備えたエンコーダ・デコーダアーキテクチャを採用する。
• 長距離の空間的依存関係を効率的にモデル化するため、マルチヘッド線形アテンション層を統合する。
• 計算コストを低減するために、クエリ、キー、バリュー特徴間の類似度を線形近似を用いて計算するアテンション機構を採用する。
• デコーダではデコンボリューション層を用いて特徴マップをアップサンプリングし、高解像度の雲なし出力を生成する。
• 生成対抗ネットワーク（GAN）フレームワークを採用し、本物の雲なし画像と生成された画像を区別するようにディスクライマーを訓練する。
• 全体の損失関数は、対抗損失、知覚的損失、再構築損失を組み合わせており、画像の現実性と構造的忠実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチヘッド線形アテンション機構は、薄い雲除去タスクにおいて長距離依存関係を効果的にモデル化できるか？
• RQ2 MLAGAN は、既存の深層学習ベースの手法と比較して、薄い雲に覆われた領域における地表面ディテールの保持にどの程度優れているか？
• RQ3 アテンション機構の統合が、再構築品質と視覚的忠実度をどの程度向上させるか？
• RQ4 自動エンコーダベースの手法と比較して、GANベースの訓練戦略は生成された雲なし画像の現実性をどの程度向上させるか？
• RQ5 MLAGAN は、多様なリモートセンシングのシーンや雲のパターンに対してどの程度頑健か？

主な発見

• MLAGAN は RICE1 および RICE2 データセットで最先端の性能を達成し、6つの深層学習ベースのベンチマークを上回った。
• 定量的評価では、既存の手法よりも高い PSNR および SSIM 値を達成しており、優れた再構築品質を示している。
• 視覚的比較により、MLAGAN が雲に覆われた領域における繊細なテクスチャーや構造的ディテールをより効果的に保持していることが示された。
• アブレーションスタディにより、マルチヘッド線形アテンションモジュールがベースラインモデルと比較して顕著に性能向上をもたらしていることが確認された。
• 多様なリモートセンシングのシーンや薄い雲のパターンに対しても、MLAGAN は優れた一般化能力を維持している。