[論文レビュー] Aerial Spectral Super-Resolution using Conditional Adversarial Networks

Aneesh Rangnekar, Nilay Mokashi+3 more|arXiv (Cornell University)|Dec 23, 2017

Advanced Image Fusion Techniques被引用数 23

ひとこと要約

本稿では、空中RGB画像から高空間分解能のカラー画像を入力として、31バンド（400–700 nm）のスペクトル帯域を推定するための条件付き生成対抗ネットワーク（cGAN）を提案する。新規のAeroCampusデータセットで訓練されたモデルは、テストRMSEが2.48に達し、低分解能入力および高いノイズ干渉下でも効果的なスペクトルシグネチャ回復を示している。

ABSTRACT

Inferring spectral signatures from ground based natural images has acquired a lot of interest in applied deep learning. In contrast to the spectra of ground based images, aerial spectral images have low spatial resolution and suffer from higher noise interference. In this paper, we train a conditional adversarial network to learn an inverse mapping from a trichromatic space to 31 spectral bands within 400 to 700 nm. The network is trained on AeroCampus, a first of its kind aerial hyperspectral dataset. AeroCampus consists of high spatial resolution color images and low spatial resolution hyperspectral images (HSI). Color images synthesized from 31 spectral bands are used to train our network. With a baseline root mean square error of 2.48 on the synthesized RGB test data, we show that it is possible to generate spectral signatures in aerial imagery.

研究の動機と目的

• 低空間分解能の空中RGB画像から高精細なスペクトルシグネチャを再構築するためのディープラーニング手法を開発すること。
• ハイパースペクトルイメージングにおけるスペクトル分解能の制限に取り組み、RGBから31バンドスペクトルデータへのマッピングを学習すること。
• スペクトルスーパーサンプリング分野の研究を支援するため、新しい空中ハイパースペクトルデータセットAeroCampusを提供すること。
• モデルが影や水面など複雑な現実世界の状況を扱う際のロバスト性を評価すること。
• 条件付きGANがノイズや低分解能の制約下でも、RGBからスペクトル空間への逆マッピングを効果的に学習できることを示すこと。

提案手法

• 31バンドスペクトルシグネチャ（400–700 nm）へのマッピングを学習するため、三色のRGB画像から条件付きGANを訓練する。
• スペクトルのアップサンプリング中に空間的詳細を保持するために、スキップ接続を備えたU-Netに類似した生成器アーキテクチャを採用する。
• 局所的なスペクトル一貫性を強制し、予測されたスペクトルの知覚的リアリズムを向上させるために、PatchGANディスクラミネータを採用する。
• 高分解能RGB画像とそれに対応する低分解能ハイパースペクトル画像を含む、AeroCampusデータセットからのペairedデータを用いて訓練を行う。
• スペクトル再構成のL1損失と対抗損失を組み合わせて、生成器を最適化することでスペクトル忠実度を向上させる。
• 合成RGBテストデータにおけるRMSEと、実際の空中パッチにおける定性的分析を用いてネットワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANは、空中画像におけるRGBから31バンドスペクトルシグネチャへの逆マッピングを効果的に学習できるか？
• RQ2 モデルはアスファルト、緑地、影を含むような複雑なテクスチャを有する現実世界の空中シーンにどの程度一般化できるか？
• RQ3 水体や影領域のような挑戦的な条件下でも、スペクトルシグネチャの回復はどの程度可能か？
• RQ4 対抗訓練を用いることで、標準的な回帰ベースの手法と比較してスペクトルのリアリズムが向上するか？
• RQ5 低分解能HSI入力が存在しない高空間分解能RGB画像に適用した場合、モデルの性能はいかがなものか？

主な発見

• 提案された条件付きGANは、合成RGBデータ上でテストRMSEが2.48に達し、効果的なスペクトルシグネチャ回復を示した。
• アスファルト、緑地、建物など多様な空中素材のスペクトルシグネチャを、高い知覚的忠実度で予測できた。
• 青い車と空といった類似したRGBカラーを区別する能力を学習したが、緑色の車とアスファルトのようにスペクトル的に類似した素材間ではわずかな混同が生じた。
• 影領域においてもモデルはロバストで、物理的期待に合致した大きさが小さい結果を出力した。
• 水体については、下層の堆積物に依存するスペクトル特性があるため困難であったが、澄んだ水と濁った水の間で期待されるスペクトル変動を反映した予測が得られた。
• 単一で統合されたスペクトルGANが、バンド別分割やマルチステージGANアーキテクチャに比べ、トレーニングの安定性と性能で優れていた。