[논문 리뷰] DeepSWIR: A Deep Learning Based Approach for the Synthesis of Short-Wave InfraRed Band using Multi-Sensor Concurrent Datasets

Litu Rout, Yatharath Bhateja외 4명|arXiv (Cornell University)|2019. 05. 07.

Remote-Sensing Image Classification인용 수 7

한 줄 요약

이 논문은 LISS-III와 LISS-IV 센서의 동시 24m 및 5m 해상도 밴드를 활용하여 5m 해상도의 단파적외선(SWIR) 밴드를 합성하는 딥러닝 프레임워크인 DeepSWIR를 제안한다. 저해상도 SWIR의 스펙트럼 매핑과 고해상도 가시광선/근적외선 밴드의 공간적 세부 정보를 활용함으로써, 높은 정밀도의 슈퍼레졸루션을 달성하였으며, 보간법을 능가하고 Sentinel-2B TOA 반사율과 강한 방사능 일致성을 보이며 습지 지도 제작에 유용함을 입증하였다.

ABSTRACT

Convolutional Neural Network (CNN) is achieving remarkable progress in various computer vision tasks. In the past few years, the remote sensing community has observed Deep Neural Network (DNN) finally taking off in several challenging fields. In this study, we propose a DNN to generate a predefined High Resolution (HR) synthetic spectral band using an ensemble of concurrent Low Resolution (LR) bands and existing HR bands. Of particular interest, the proposed network, namely DeepSWIR, synthesizes Short-Wave InfraRed (SWIR) band at 5m Ground Sampling Distance (GSD) using Green (G), Red (R) and Near InfraRed (NIR) bands at both 24m and 5m GSD, and SWIR band at 24m GSD. To our knowledge, the highest spatial resolution of commercially deliverable SWIR band is at 7.5m GSD. Also, we propose a Gaussian feathering based image stitching approach in light of processing large satellite imagery. To experimentally validate the synthesized HR SWIR band, we critically analyse the qualitative and quantitative results produced by DeepSWIR using state-of-the-art evaluation metrics. Further, we convert the synthesized DN values to Top Of Atmosphere (TOA) reflectance and compare with the corresponding band of Sentinel-2B. Finally, we show one real world application of the synthesized band by using it to map wetland resources over our region of interest.

연구 동기 및 목표

• 상업적 원격 감시에서 가용 가능한 최고 해상도가 7.5m인 상황(예: WorldView-3)에서 고해상도 SWIR 데이터의 부족을 해결한다.
• LISS-III와 LISS-IV의 기존 24m 및 5m 해상도 밴드를 활용하여 동시 5m SWIR 데이터가 없는 상황을 보완하기 위해 가상의 5m SWIR 밴드를 합성한다.
• 저해상도 SWIR의 스펙트럼 특성을 유지하면서 고해상도 가시광선 및 근적외선 밴드를 활용해 공간 해상도를 향상시키는 딥러닝 모델을 개발한다.
• 정량적 지표와 습지 자원 구역 정의와 같은 실제 응용을 통해 합성된 밴드의 유효성을 검증한다.
• 큰 규모의 위성 영상 처리를 위한 원활한 이미지 스티칭을 위해 가우시안 퍼칭 기반의 이미지 스티칭 방법을 제안한다.

제안 방법

• LISS-III의 동시 24m 밴드(G, R, NIR, SWIR)를 대상으로 엔드 투 엔드로 맞춤형 컨volutional 신경망(CNN), 즉 DeepSWIR를 훈련하여 스펙트럼 매핑을 학습한다.
• 훈련된 모델을 활용해 24m LISS-III SWIR의 스펙트럼 특성과 5m LISS-IV G, R, NIR 밴드의 공간 세부 정보를 융합하여 5m SWIR 밴드를 합성한다.
• 스케일 불변성 가정을 활용하여 24m 밴드를 저해상도로 다운샘플링하여 합성 훈련 데이터를 생성함으로써 상대적 해상도 차이를 유지한다.
• 밴드 합성 후에 가우시안 퍼칭을 적용하여 큰 규모의 위성 영상에서 이음매 흔적을 최소화하여 원활한 이미지 스티칭을 수행한다.
• 합성된 SWIR 밴드의 디지털 넘버(DN) 값을 대기권 상단(TOA) 반사율로 변환하여 Sentinel-2B와의 방사능 비교를 수행한다.
• 실제 응용에서의 실용성을 평가하기 위해 단순하면서도 효과적인 습지 경계 정의 알고리즘을 사용한다.

실험 결과

연구 질문

• RQ1 다중 센서 플랫폼의 동시 24m 및 5m 해상도 밴드만을 사용하여 딥러닝 모델이 5m 공간 해상도의 SWIR 밴드를 효과적으로 합성할 수 있는가?
• RQ2 합성된 SWIR 밴드가 24m SWIR 밴드의 원래 스펙트럼 특성을 유지하면서 5m 공간 해상도를 달성하는 데 얼마나 잘 성능을 내는가?
• RQ3 동질적인 표면에서 합성된 밴드가 실제로 Sentinel-2B의 TOA 반사율과 어느 정도 일치하는가?
• RQ4 합성된 SWIR 밴드가 보간법이나 저해상도 SWIR 데이터보다 습지 자원 지도의 정확도를 향상시키는가?
• RQ5 제안된 가우시안 퍼칭 기반의 이미지 스티칭 방법이 큰 규모의 위성 영상 씬 처리를 위한 원활한 처리를 얼마나 효과적으로 지원하는가?

주요 결과

• 합성된 5m SWIR 밴드는 동질적 특징에서 Sentinel-2B의 TOA 반사율과 강한 방사능 유사성을 보이며 스펙트럼 정밀도를 검증하였다.
• 정량적 평가 결과, DeepSWIR 모델이 전통적인 보간법 및 융합 방법보다 공간 및 스펙트럼 세부 정보를 더 잘 유지하는 것으로 나타났다.
• 합성된 SWIR 밴드를 활용하면 5m NIR 및 가시광선 밴드만을 사용할 때 간과되는 좁은 습지 특징을 정확하게 구분할 수 있었다.
• 합성된 SWIR 밴드를 사용할 경우 고해상도 가시광선 및 NIR 밴드만을 사용할 때보다 습지 지도 제작에서 거짓 긍정(false positives)을 크게 감소시켰다.
• 가우시안 퍼칭 기반의 스티칭 방법은 눈에 띄는 이음매 흔적을 최소화하여 큰 규모의 위성 영상에 대한 원활한 모자이킹을 성공적으로 수행하였다.
• 실제 24m 데이터에서 스펙트럼 매핑을 학습함으로써 합성 다운스케일링으로 인한 노이즈가 포함된 훈련 데이터를 피하는 바람직한 고성능 슈퍼레졸루션 성능을 달성하였다.