[논문 리뷰] The SEN1-2 Dataset for Deep Learning in SAR-Optical Data Fusion

Michael Schmitt, Lloyd Haydn Hughes외 1명|arXiv (Cornell University)|2018. 07. 04.

Advanced Image Fusion Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 센티넬-1과 센티넬-2에서 유래한 공통 등록된 SAR-광학 이미지 패치 282,384개로 구성된 대규모 데이터셋인 SEN1-2를 소개한다. 이 데이터셋은 SAR-광학 데이터 융합 분야의 딥러닝 연구를 가능하게 하며, SAR 이미지의 색상화, 이미지 매칭, SAR에서 인공 광학 이미지를 생성하는 등의 응용 분야를 지원한다. 특히 의사-시아메스 트리니언 네트워크를 사용한 공통 패치 매칭 작업에서 최신 기술 수준의 93.98% 정확도를 달성하였다.

ABSTRACT

While deep learning techniques have an increasing impact on many technical fields, gathering sufficient amounts of training data is a challenging problem in remote sensing. In particular, this holds for applications involving data from multiple sensors with heterogeneous characteristics. One example for that is the fusion of synthetic aperture radar (SAR) data and optical imagery. With this paper, we publish the SEN1-2 dataset to foster deep learning research in SAR-optical data fusion. SEN1-2 comprises 282,384 pairs of corresponding image patches, collected from across the globe and throughout all meteorological seasons. Besides a detailed description of the dataset, we show exemplary results for several possible applications, such as SAR image colorization, SAR-optical image matching, and creation of artificial optical images from SAR input data. Since SEN1-2 is the first large open dataset of this kind, we believe it will support further developments in the field of deep learning for remote sensing as well as multi-sensor data fusion.

연구 동기 및 목표

• 원격 감지 분야의 딥러닝 연구를 위해 대규모이고 공통 등록된 SAR-광학 이미지 쌍의 부족 문제를 해결하기 위해.
• 글로벌 분포와 계절 다양성을 갖춘 데이터셋을 제공하여 SAR-광학 데이터 융합을 위한 강력한 딥러닝 모델 개발을 지원하기 위해.
• SAR 이미지의 색상화, 이미지 매칭, 인공 광학 이미지 생성 등의 분야에서의 모델 벤치마킹을 가능하게 하기 위해.
• 다중 스펙트럼 데이터와 토양 이용/토양 커버 레이블을 향한 향후 확장 기반을 마련하기 위해.
• 기존 데이터셋의 한계(소규모, 높은 패치 겹침 등)를 극복하기 위해 다양하고 대규모이며 글로벌로 대표되는 데이터셋을 제공하기 위해.

제안 방법

• 데이터셋은 센티넬-1 GRD VV 편광 SAR 이미지와 센티넬-2 레벨-1C 대기상 반사율 데이터를 사용하여 구성되었으며, 모두 20m 해상도로 재샘플링되었다.
• 모든 글로벌 육지 대륙과 네 계절에 걸쳐 공통 위치의 영상에서 64×64 크기의 이미지 패치를 추출하여 시간적·공간적 다양성을 확보하였다.
• 정밀한 지리적 위치 결정은 SRTM 또는 ASTER DEM과 정밀 궤도 데이터를 활용하여 수행되어 SAR와 광학 패치 간의 피кс셀 이내 정렬을 보장하였다.
• 원시 SAR 특성을 유지하기 위해 스펙클 필터링을 적용하지 않았으며, 사용자가 자체 전처리를 적용할 수 있도록 하였다.
• 데이터셋은 시나리오와 계절 기반으로 결정론적 방식으로 학습, 검증, 테스트 세트로 분할되어 비편향된 평가가 가능하도록 하였다.
• 데이터셋의 유용성을 입증하기 위해, 매칭 작업을 위한 의사-시아메스 네트워크 CNN과 이미지 간 번역을 위한 pix2pix GAN 모델을 훈련 및 평가하였다.

실험 결과

연구 질문

• RQ1 공통 등록된 SAR-광학 이미지 패치로 구성된 대규모 글로벌 데이터셋은 원격 감지 분야의 더 강력하고 일반화 능력이 뛰어난 딥러닝 모델 개발을 가능하게 할 수 있는가?
• RQ2 SEN1-2 데이터셋은 SAR-광학 이미지 매칭 모델 훈련에 얼마나 효과적인가? 어떤 성능을 달성할 수 있는가?
• RQ3 SEN1-2에서 훈련된 생성 모델이 SAR 입력에서 현실적으로 보이는 광학 이미지를 얼마나 잘 생성할 수 있는가?
• RQ4 이 데이터셋의 글로벌 위치와 계절 조건의 다양성이 다양한 환경 조건에서의 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ5 후속 딥러닝 작업에서 바닥면 반사율 데이터 대신 대기상 반사율 데이터를 사용할 경우의 한계는 무엇인가?

주요 결과

• SEN1-2 데이터셋은 다양한 글로벌 위치와 네 계절에서 수집된 총 282,384개의 공통 등록된 SAR-광학 이미지 패치 쌍을 포함하고 있으며, 광범위한 공간적·시간적 커버리지를 보장한다.
• 데이터셋의 일부를 대상으로 훈련된 의사-시아메스 컨volution 네트워크는 매칭된 SAR-광학 패치 쌍을 식별하는 데 93.98%의 정확도를 달성하였으며, 6.02%의 낮은 거짓 긍정 비율을 기록하였다.
• pix2pix GAN 모델을 활용한 사례 연구 결과, SAR 입력에서 유의미하게 보이는 인공 광학 이미지를 생성하는 것이 가능하며, 다양한 테스트 케이스에서 뚜렷한 시각적 일관성을 확보하였다.
• 시나리오와 계절 기반의 결정론적 분할 덕분에 데이터셋은 모델 평가의 비편향성을 보장하며, 데이터 泄露를 최소화한다.
• 이 데이터셋은 유사한 종류의 대규모 오픈 소스 자료로서 최초로 출시되었으며, 이전의 SARptical 데이터셋에 비해 크기와 다양성 면에서 크게 뛰어나며, 패치 수가 10배 많고 겹침 비율도 낮다.
• 저자들은 향후 버전 2로 다중 스펙트럼 센티넬-2 데이터와 대기 보정 기능을 포함하여 고도화된 원격 감지 응용 분야에서의 유용성을 향상시킬 계획이다.