[論文レビュー] GAN-Based Object Removal in High-Resolution Satellite Images

Hadi Mansourifar, Steven J. Simske|arXiv (Cornell University)|Jan 24, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、希少なピクセル単位のセグメンテーション特徴マップ（SFI）の代わりにCanny特徴マップ（CFI）を用いることで、高解像度衛星画像におけるオブジェクト除去のためのワンショット、条件付き生成対抗ネットワーク（CGAN）手法を提案する。本手法はCFIを入力としてPix2pixHDモデルを訓練し、現実的で滑らかなオブジェクト除去を実現し、その結果、最新の検出モデルおよび162枚の改ざん画像と266枚の真正画像から構成される新規ベンチマークデータセットによる検証を通じて、偽造画像が本物とほとんど区別できないことを示している。

ABSTRACT

Satellite images often contain a significant level of sensitive data compared to ground-view images. That is why satellite images are more likely to be intentionally manipulated to hide specific objects and structures. GAN-based approaches have been employed to create forged images with two major problems: (i) adding a new object to the scene to hide a specific object or region may create unrealistic merging with surrounding areas; and (ii) using masks on color feature images has proven to be unsuccessful in GAN-based object removal. In this paper, we tackle the problem of object removal in high-resolution satellite images given a limited number of training data. Furthermore, we take advantage of conditional GANs (CGANs) to collect perhaps the first GAN-based forged satellite image data set. All forged instances were manipulated via CGANs trained by Canny Feature Images for object removal. As part of our experiments, we demonstrate that distinguishing the collected forged images from authentic (original) images is highly challenging for fake image detector models.

研究の動機と目的

• 限られた学習データを用いた高解像度衛星画像におけるオブジェクト除去の課題に対処すること。
• 衛星データセットにおけるピクセル単位のアノテーション付きセグメンテーション特徴マップ（SFI）の希少性を克服するため、Canny特徴マップ（CFI）を代理の条件として用いること。
• シーンの意味論を保持し、視覚的劣化を最小限に抑える、耐障害性の高いワンショットGANベースの偽造衛星画像生成手法を開発すること。
• 今後の偽造検出研究のため、162枚の改ざん画像と266枚の真正画像から構成される新規データセットを作成・公開すること。
• CFIを用いて生成された偽造画像が、既存のバイナリ分類器およびトランスファー学習モデルによっても容易に検出できないことを実証すること。

提案手法

• 限られたデータでのワンショット学習を可能にするために、高解像度衛星画像を256×256ピクセルのパッチに分割した。
• オブジェクト除去のための条件付き生成対抗ネットワーク（CGAN）として、Canny特徴マップ（CFI）を条件入力として用いたPix2pixHDベースのモデルを訓練した。
• 希少なピクセル単位のアノテーション付きSFIの代わりに、エッジ情報を活用して現実的な画像合成をガイドするCFIを採用した。
• 画像品質を画像類似度指標（MSE、PSNR、SSIM）およびAWS Rekognitionを用いたオブジェクト検出性能によって評価した。
• 偽造画像検出のためのバイナリ分類器を訓練し、MobileNetV2を微調整することで、生成画像の検出可能性を評価した。
• ResNet50で埋め込まれた特徴量を用いたt-SNE可視化により、偽造画像と本物画像の間の分布的差異を分析した。

実験結果

リサーチクエスチョン

• RQ1 Canny特徴マップ（CFI）は、高解像度衛星画像におけるCGANベースのオブジェクト除去において、ピクセル単位のセグメンテーション特徴マップ（SFI）に効果的に代替可能か？
• RQ2 画像類似度およびオブジェクト検出性能の観点から、CFIを用いたオブジェクト除去の品質はSFIに比べてどの程度優れているか？
• RQ3 最新のバイナリ分類器およびトランスファー学習モデルによる、GANで生成された偽造衛星画像の検出可能性はどの程度か？
• RQ4 ワンショットGAN学習パラダイムは、限られた学習データを用いても、高解像度衛星画像において現実的で滑らかなオブジェクト除去を実現できるか？
• RQ5 SFIアノテーションの欠如が、CGANベースのオブジェクト除去の性能に顕著な悪影響を及えるのか。また、CFIはこの制限を緩和できるか？

主な発見

• CFIは画像類似度指標の4つ中3つでSFIを上回った（MSE、PSNR、SSIM）。平均的に、MSEは0.129（SFI：0.137）で低く、PSNRは32.95（SFI：32.69）で高く、優位性を示した。
• SSIMスコアは、構造的保持の観点でCFIの優位性を示し（平均0.844 vs. 0.901）、大多数のケースで優れた視覚的忠実度を達成した。
• AWS Rekognitionにおけるオブジェクト検出スコアでは、CFIは旅客機検出で99.3%、航空機検出で99.2%を維持したが、SFIではターミナルおよび車両検出でわずかな低下が見られた。
• バイナリ分類器およびトランスファー学習モデルは、偽造画像と本物画像を区別できず、AUC-ROC曲線が明確に分離しなかった（図8）、生成画像の高品質さを示している。
• t-SNE可視化により、偽造画像と本物画像が特徴空間で密に分布しており、検出の困難さを裏付けた。
• 提案手法により、162枚の改ざん画像と266枚の真正画像から構成される新規データセットを成功裏に生成し、今後の偽造検出研究のための公開を実施した。