[논문 리뷰] Towards Monocular Digital Elevation Model (DEM) Estimation by Convolutional Neural Networks - Application on Synthetic Aperture Radar Images

Gabriele Costante, Thomas A. Ciarfuglia외 1명|arXiv (Cornell University)|2018. 03. 01.

Synthetic Aperture Radar (SAR) Applications and Techniques인용 수 2

한 줄 요약

이 논문은 간섭계 처리가 필요 없도록 싱글패스 SAR 이미지에서 디지털 고도 모델(DDEM) 추정을 위한 완전 컨volution 신경망(CNN) 인코더-디코더 아키텍처를 사용하는 단일 패assing 방법을 제안한다. 이 방법은 SAR 강도 데이터와 지형 고도 사이의 통계적 관계를 학습하여 단일 패assing DEM 복원에서 유망한 初期 결과를 달성한다.

ABSTRACT

Synthetic aperture radar (SAR) interferometry (InSAR) is performed using repeat-pass geometry. InSAR technique is used to estimate the topographic reconstruction of the earth surface. The main problem of the range-Doppler focusing technique is the nature of the two-dimensional SAR result, affected by the layover indetermination. In order to resolve this problem, a minimum of two sensor acquisitions, separated by a baseline and extended in the cross-slant-range, are needed. However, given its multi-temporal nature, these techniques are vulnerable to atmosphere and Earth environment parameters variation in addition to physical platform instabilities. Furthermore, either two radars are needed or an interferometric cycle is required (that spans from days to weeks), which makes real time DEM estimation impossible. In this work, the authors propose a novel experimental alternative to the InSAR method that uses single-pass acquisitions, using a data driven approach implemented by Deep Neural Networks. We propose a fully Convolutional Neural Network (CNN) Encoder-Decoder architecture, training it on radar images in order to estimate DEMs from single pass image acquisitions. Our results on a set of Sentinel images show that this method is able to learn to some extent the statistical properties of the DEM. The results of this exploratory analysis are encouraging and open the way to the solution of single-pass DEM estimation problem with data driven approaches.

연구 동기 및 목표

• 다중 시기 이미지 수거가 필요하고 대기 및 플랫폼 불안정성에 민감한 전통적인 InSAR 기법의 한계를 해결하기 위해.
• 기준선 분리 또는 반복 패assing 사이클 없이도 싱글패스 DEM 추정을 가능하게 하여 SAR 영상의 레이어오버 모순을 해결하기 위해.
• 딥 러닝을 활용해 간섭계 처리 없이 단일 SAR 이미지에서 지형 고도를 추론할 수 있는 가능성을 탐색하기 위해.
• 실시간 또는 근접 실시간 DEM 생성을 지원하는 전통적 InSAR의 데이터 기반 대체 방법을 개발하기 위해.
• 완전 컨volution 신경망이 SAR 강도와 지형 고도 사이의 통계적 매핑을 학습할 수 있음을 입증하기 위해.

제안 방법

• 싱글패스 SAR 강도 영상에서 DEM으로의 매핑을 위해 인코더-디코더 아키텍처를 가진 완전 컨볼루션 신경망(CNN)을 사용한다.
• 참고 DEM과 함께 페어링된 Sentinel-1 SAR 이미지 데이터셋을 사용하여 공간적 및 강도-고도 매핑을 학습하기 위해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 스킵 커넥션을 통해 공간 해상도를 유지하고 다중 스케일 특징을 캡처하기 위해 U-Net 유사 아키텍처를 사용한다.
• 딥 페처의 불변성을 활용하여 SAR 백스캐터와 지형 형태 간의 복잡한 비선형 관계를 모델링한다.
• 예측된 DEM과 진짜 DEM 간의 차이를 최소화하기 위해 픽셀 단위 손실 함수를 최적화한다.
• 특히 훈련 샘플이 적은 지역에서 일반화 능력을 향상시키기 위해 합성 또는 시뮬레이션된 데이터 증강을 활용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 간섭계 처리 없이 단일 SAR 강도 영상에서 지형 고도를 추론할 수 있는가?
• RQ2 CNN 아키텍처는 레이어오버 및 그림자 모순을 피하면서 싱글패스 SAR 수거로부터 얼마나 정확하게 DEM을 재구성할 수 있는가?
• RQ3 데이터 기반 CNN 기반 접근법의 정확성과 강건성 측면에서 전통적 InSAR와 비교해 볼 때 어떤가?
• RQ4 훈련된 모델은 다양한 지형 및 지형 커버 조건에서 얼마나 잘 일반화되는가?
• RQ5 명시적인 위상 정보 없이도 모델이 SAR 강도 패턴에서 지형의 통계적 특성을 학습할 수 있는가?

주요 결과

• 제안된 CNN 기반 방법은 싱글패스 SAR 영상에서 DEM을 성공적으로 추정하여 InSAR의 데이터 기반 대체 가능성에 대한 타당성을 입증한다.
• 모델은 SAR 강도 데이터로부터 공간 패턴과 지형 특징을 포착하여 납득할 수 있고 일관된 고도 지도를 생성한다.
• Sentinel-1 영상에 대한 결과는 네트워크가 상대적으로 높은 정밀도로 대규모 지형 구조를 재구성할 수 있음을 보여준다.
• 다중 시기 수거나 기준선 분리가 필요 없기 때문에 실시간 DEM 추정 가능성이 열린다.
• 초기 결과는 유망하며, 딥 러닝이 위상 정보 없이도 복잡한 SAR-DEM 매핑을 모델링할 수 있음을 시사한다.
• 강도 데이터 내의 문맥적 관계를 학습함으로써 레이어오버 효과를 완화할 잠재력이 있으나, 이 초기 연구에서는 정량적 검증이 제한되어 있다.