[論文レビュー] ColorMapGAN: Unsupervised Domain Adaptation for Semantic Segmentation Using Color Mapping Generative Adversarial Networks

Onur Taşar, S L Happy+2 more|arXiv (Cornell University)|Jul 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 74被引用数 33

ひとこと要約

本稿では、リモートセンシングにおけるセマンティックセグメンテーションのための、非教師ありドメイン適応フレームワーク「ColorMapGAN」を提案する。本手法は、学習可能なカラーマッピングを介してテスト画像のスペクトル分布を訓練画像に転送する軽量な生成対抗ネットワークを用いる。単一の行列乗算と加算によって、意味的に一貫性がありながらもスペクトル的に適応された偽の訓練画像を生成し、事前学習済み分類器の効果的なファインチューニングを可能にし、従来のGANベース手法と比較して著しく短い訓練時間で最先端の性能を達成する。

ABSTRACT

Due to the various reasons such as atmospheric effects and differences in acquisition, it is often the case that there exists a large difference between spectral bands of satellite images collected from different geographic locations. The large shift between spectral distributions of training and test data causes the current state of the art supervised learning approaches to output unsatisfactory maps. We present a novel semantic segmentation framework that is robust to such shift. The key component of the proposed framework is Color Mapping Generative Adversarial Networks (ColorMapGAN), which can generate fake training images that are semantically exactly the same as training images, but whose spectral distribution is similar to the distribution of the test images. We then use the fake images and the ground-truth for the training images to fine-tune the already trained classifier. Contrary to the existing Generative Adversarial Networks (GANs), the generator in ColorMapGAN does not have any convolutional or pooling layers. It learns to transform the colors of the training data to the colors of the test data by performing only one element-wise matrix multiplication and one matrix addition operations. Thanks to the architecturally simple but powerful design of ColorMapGAN, the proposed framework outperforms the existing approaches with a large margin in terms of both accuracy and computational complexity.

研究の動機と目的

• 訓練用とテスト用の衛星画像間のスペクトル分布に大きなドメインシフトが生じる問題に取り組み、最先端のCNNベースのセマンティックセグメンテーションモデルの性能を低下させることを防ぐ。
• 大規模なスペクトルシフトに耐えられない従来のデータ拡張法や学習なしのカラーマッピング手法の限界を克服する。
• リモートセンシング、特にセマンティックセグメンテーションにおける非教師ありドメイン適応に対して、計算効率が高くかつ高い効果を発揮する手法を開発する。
• 訓練データとテストデータが異なる地理的場所にあり、大気的・放射的条件が異なる場合でも、高品質なセマンティックセグメンテーションマップの生成を可能にする。

提案手法

• 訓練画像の色をテスト画像のスペクトル分布に一致させるために、1つの要素ごとの行列乗算と1つの行列加算のみを実行する生成器を持つ生成対抗ネットワーク「ColorMapGAN」を提案する。
• 畳み込み層やプーリング層を一切使用しない生成器を設計し、意味的整合性を保ちながらスペクトル特性を適応させるために、学習可能なカラーマッピング行列に依存する。
• 生成器を、判別器が偽の画像を本物のテスト画像と区別できないようにする adversarial loss で訓練する一方で、元の訓練データに対する真値の監視により意味的整合性を維持する。
• 本物の訓練画像と生成された偽の画像の両方を用いて、事前学習済みのセマンティックセグメンテーション分類器をファインチューニングし、ターゲットドメインへの一般化性能を向上させる。
• 本物のテスト画像とColorMapGANが生成する偽画像を区別するための判別器を設計し、現実的なスペクトル外観を強制する。
• TensorFlowを用いてエンドツーエンドにフレームワークを実装し、性能と訓練効率の両方を最適化する。1つのGPUで7分未満で訓練を完了する。

実験結果

リサーチクエスチョン

• RQ1 複雑なGANと比較して、非畳み込み型の軽量生成器は、セマンティックセグメンテーションにおけるドメイン適応性能を優れたものにできるか？
• RQ2 行列乗算と加算による学習可能なカラーマッピング操作は、意味的構造を保持しながら、ドメイン間のスペクトル分布を効果的に一致させることができるか？
• RQ3 本手法は、非学習ベースの手法（例：ヒストグラムマッチング、グレイワールド）およびディープラーニングベースの画像対画像変換モデルと比較して、精度と訓練効率の両面で優れているか？
• RQ4 本手法は、ドメインシフトに起因する性能低下を、衛星画像のセマンティックセグメンテーションにおいてどの程度軽減できるか？

主な発見

• ColorMapGANは、複数の都市ペair（Bad Ischl, Villach, Béziers, Roanne）において、精度と頑健性の両面で、CycleGAN, UNIT, MUNIT, DRIT, ヒストグラムマッチングを上回る最先端の性能を達成した。
• 訓練時間は1イタレーションあたりわずか0.05秒（8,000イタレーションで約6.5分）にまで短縮され、CycleGAN（0.11秒/イタレーション）や他のGANベース手法と比較して顕著に高速化された。
• ヒストグラムマッチングとは異なり、偽の色アーティファクト（例： Cyan や濃い紫の屋根）を生成せず、視覚的検証およびヒストограм分析により、現実的な色分布を保持していることが確認された。
• ヒストグラムマッチングと比較して、ColorMapGANが生成する偽画像は、建物や道路などのクラスごとの色ヒストограмが本物のテスト画像とより類似しており、より良いスペクトル整合性を示している。
• フレームワークは高い意味的整合性を維持している： Villachの建物で灰色または黒の屋根を有するものは、ColorMapGANの出力でもそのままであり、不自然な色の生成を回避している。
• 本手法は強力な一般化性能を示しており、時間帯や大気的要因による大きなスペクトル差があるにもかかわらず、正確な予測を生成できる。