[논문 리뷰] Aerial Spectral Super-Resolution using Conditional Adversarial Networks

Aneesh Rangnekar, Nilay Mokashi외 3명|arXiv (Cornell University)|2017. 12. 23.

Advanced Image Fusion Techniques인용 수 23

한 줄 요약

이 논문은 항공 RGB 이미지에서 고해상도 색상 이미지로부터 31개의 스펙트럼 대역(400–700 nm)을 추론함으로써 스펙트럼 슈퍼레졸루션을 수행하기 위해 조건부 생성 적대 신경망(cGAN)을 제안한다. 새로운 AeroCampus 데이터셋으로 훈련된 모델은 테스트 RMSE가 2.48를 기록하여 저해상도 입력과 높은 노이즈 간섭 조건에서도 효과적인 스펙트럼 서명 복원을 보여준다.

ABSTRACT

Inferring spectral signatures from ground based natural images has acquired a lot of interest in applied deep learning. In contrast to the spectra of ground based images, aerial spectral images have low spatial resolution and suffer from higher noise interference. In this paper, we train a conditional adversarial network to learn an inverse mapping from a trichromatic space to 31 spectral bands within 400 to 700 nm. The network is trained on AeroCampus, a first of its kind aerial hyperspectral dataset. AeroCampus consists of high spatial resolution color images and low spatial resolution hyperspectral images (HSI). Color images synthesized from 31 spectral bands are used to train our network. With a baseline root mean square error of 2.48 on the synthesized RGB test data, we show that it is possible to generate spectral signatures in aerial imagery.

연구 동기 및 목표

• 저해상도 항공 RGB 이미지에서 고신뢰도 스펙트럼 서명을 복원하기 위한 딥러닝 방법을 개발하기.
• 고분광 영상의 제한된 스펙트럼 해상도 문제를 해결하기 위해 RGB에서 31밴드 스펙트럼 데이터로의 매핑을 학습하기.
• 스펙트럼 슈퍼레졸루션 연구를 지원하기 위해 새로운 항공 고분광 데이터셋인 AeroCampus를 제공하기.
• 그림자 및 물 표면과 같은 복잡한 실세계 조건을 다룰 때 모델의 강인성을 평가하기.
• 조건부 GAN이 노이즈가 많고 저해상도 제약 조건 하에서 RGB에서 스펙트럼 공간으로의 역매핑을 효과적으로 학습할 수 있음을 보여주기.

제안 방법

• 삼색 RGB 이미지에서 400–700 nm 범위 내 31밴드 스펙트럼 서명으로의 매핑을 학습하기 위해 조건부 GAN을 훈련한다.
• 스펙트럼 업샘플링 중 공간적 세부 정보를 유지하기 위해 스킵 연결을 갖춘 U-Net 유사 생성기 아키텍처를 사용한다.
• 지역적 스펙트럼 일관성과 예측 스펙트럼의 정서적 현실감을 향상시키기 위해 패치 GAN 판별기를 적용한다.
• 고해상도 RGB 이미지와 해당하는 저해상도 고분광 이미지로 구성된 AeroCampus 데이터셋의 쌍화된 데이터를 사용해 훈련을 수행한다.
• 스펙트럼 복원에 대한 L1 손실과 스펙트럼 정밀도를 향상시키기 위한 적대적 손실을 조합하여 생성기를 최적화한다.
• 합성된 RGB 테스트 데이터에서 RMSE를 사용하고, 실제 항공 패치에 대한 정성적 분석을 통해 네트워크를 평가한다.

실험 결과

연구 질문

• RQ1 조건부 GAN은 항공 영상에서 RGB에서 31밴드 스펙트럼 서명으로의 역매핑을 효과적으로 학습할 수 있는가?
• RQ2 노이즈가 많고 복잡한 질감(예: 도로, 식생, 그림자)을 가진 실세계 항공 영상에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ3 물체나 그림자 영역과 같은 도전적인 조건에서 스펙트럼 서명을 얼마나 잘 복원할 수 있는가?
• RQ4 표준 회귀 기반 방법에 비해 적대적 훈련을 사용할 경우 스펙트럼 현실감이 향상되는가?
• RQ5 저해상도 HSI 입력 없이 고해상도 RGB 이미지에 적용했을 때 모델의 성능은 어떠한가?

주요 결과

• 제안된 조건부 GAN은 합성된 RGB 데이터에서 테스트 루트 평균 제곱 오차(RMSE)가 2.48로 기록되어 효과적인 스펙트럼 서명 복원을 보였다.
• 아스팔트, 식생, 건물 등 다양한 항공 재료에 대해 높은 정서적 정밀도로 스펙트럼 서명을 성공적으로 예측하였다.
• 파란 자동차와 하늘과 같은 유사한 RGB 색상 간의 구분을 학습하였지만, 녹색 자동차와 아스팔트처럼 스펙트럼적으로 유사한 재료 간에는 약간의 혼동이 발생하였다.
• 그림자 영역에서도 강인성을 보이며, 물리적 기대에 부합하는 감소된 크기의 결과를 생성하였다.
• 수면은 기저의 퇄질에 따라 스펙트럼이 달라지는 특성으로 인해 어려움을 겪었지만, 맑은 물과 탁한 물 간의 기대되는 스펙트럼 변화를 반영한 예측을 보였다.
• 단일 통합 스펙트럼 GAN을 사용할 경우, 분할 밴드 및 다단계 GAN 아키텍처에 비해 훈련 안정성과 성능 면에서 뛰어난 성능을 보였다.