[논문 리뷰] The SARptical Dataset for Joint Analysis of SAR and Optical Image in Dense Urban Area

Yuanyuan Wang, Xiao Xiang Zhu|arXiv (Cornell University)|2018. 01. 23.

Synthetic Aperture Radar (SAR) Applications and Techniques참고 문헌 3인용 수 3

한 줄 요약

이 논문은 테라사르-X 및 울트라캠 데이터로부터 도시 밀집 지역에서의 복합 분석을 가능하게 하는 10,000개 이상의 고해상도 SAR 및 광학 이미지 패치 쌍을 포함하는 SARptical 데이터셋을 소개한다. 기하학적 왜곡(예: 레이어오버)이 존재하는 상황에서도 정밀한 3차원 재구성 및 다중 모odal 간 산란점 매칭을 가능하게 하여 딥러닝 기반 이미지 매칭과 같은 고급 응용을 지원한다.

ABSTRACT

The joint interpretation of very high resolution SAR and optical images in dense urban area are not trivial due to the distinct imaging geometry of the two types of images. Especially, the inevitable layover caused by the side-looking SAR imaging geometry renders this task even more challenging. Only until recently, the "SARptical" framework [1], [2] proposed a promising solution to tackle this. SARptical can trace individual SAR scatterers in corresponding high-resolution optical images, via rigorous 3-D reconstruction and matching. This paper introduces the SARptical dataset, which is a dataset of over 10,000 pairs of corresponding SAR, and optical image patches extracted from TerraSAR-X high-resolution spotlight images and aerial UltraCAM optical images. This dataset opens new opportunities of multisensory data analysis. One can analyze the geometry, material, and other properties of the imaged object in both SAR and optical image domain. More advanced applications such as SAR and optical image matching via deep learning [3] is now also possible.

연구 동기 및 목표

• 도시 밀집 지역에서 매우 고해상도 SAR 및 광학 이미지를 공동으로 해석하는 데 도전하는 데 목적이 있다.
• 측면 레이저 SAR 영상에 내재된 레이어오버 효과와 같은 기하학적 왜곡을 극복하는 데 목적이 있다.
• 개별 SAR 산란점이 광학 이미지의 해당 기능과 정확하게 매칭될 수 있도록 하는 데 목적이 있다.
• 다중 센서 데이터 분석 및 딥러닝 응용을 지원하기 위해 대규모 고품질 데이터셋을 제공하는 데 목적이 있다.
• 엄격한 3차원 재구성을 통해 강력한 SAR-광학 이미지 매칭 기법의 개발을 촉진하는 데 목적이 있다.

제안 방법

• 데이터셋은 쌍체로 구성된 테라사르-X 스포트라이트 SAR 이미지와 울트라캠 항공 광학 이미지에서 구성된다.
• 이미지 패치는 SAR 및 광학 영역 간의 대응 관계를 보장하기 위해 정밀한 공간 정렬을 통해 추출된다.
• 도시 구조를 모델링하고 레이어오버 효과를 해결하기 위해 3차원 재구성을 수행한다.
• 기하학적 및 복사적 일관성을 사용하여 SAR 산란점을 광학 이미지의 해당 기능과 추적 및 매칭한다.
• 다른 영상 기하학적 특성에도 불구하고 SAR 및 광학 데이터를 정렬하기 위해 엄격한 기하학적 모델링을 활용한다.
• 딥러닝 기반 방법을 포함한 SAR-광학 매칭 파이프라인의 종단 간 평가를 지원한다.

실험 결과

연구 질문

• RQ1 매우 큰 기하학적 왜곡이 존재하는 도시 밀집 지역에서 SAR 및 광학 이미지를 효과적으로 정렬할 수 있는 방법은 무엇인가?
• RQ2 개별 SAR 산란점이 고해상도 광학 이미지의 기능과 얼마나 정확하게 추적되고 매칭될 수 있는가?
• RQ3 3차원 재구성이 도시 환경에서 SAR-광학 이미지 매칭 정확도 향상에 어떤 영향을 미치는가?
• RQ4 대규모 쌍체 데이터셋의 가용성이 SAR-광학 매칭을 위한 딥러닝 모델의 성능 향상에 어떤 영향을 미치는가?
• RQ5 신뢰할 수 있는 다중 모달 기능 매칭을 가능하게 하는 주요 기하학적 및 복사적 특성은 무엇인가?

주요 결과

• SARptical 데이터셋은 테라사르-X 및 울트라캠에서 유래한 10,000개 이상의 쌍체 이미지 패치를 포함하여 종합적인 다중 감지 분석을 가능하게 한다.
• 데이터셋은 정밀한 3차원 재구성을 지원하여 레이어오버 효과를 완화하고 산란점 매칭 정확도를 향상시킨다.
• 기하학적 일관성을 통해 개별 SAR 산란점이 광학 이미지의 해당 기능으로 신뢰성 있게 추적될 수 있도록 하는 프레임워크를 제공한다.
• 딥러닝 기반 SAR-광학 이미지 매칭과 같은 고급 응용을 촉진한다.
• 이 데이터셋의 가용성은 다중 모달 도시 환경 이해 및 다중 센서 데이터 융합 분야의 새로운 연구 방향을 열어준다.