[논문 리뷰] Automated 3D recovery from very high resolution multi-view satellite images

Rongjun Qin|arXiv (Cornell University)|2019. 05. 17.

Satellite Image Processing and Photogrammetry인용 수 25

한 줄 요약

이 논문은 매우 고해상도 다중 시점 위성 영상에서 고정밀 3D 디지털 표면 모델(DSM)을 자동으로 생성하는 파이프라인을 제시한다. 이는 스펙트럼 유사도를 활용하고 LiDAR 데이터로부터 최적의 영상 쌍 구성 방식을 학습하는 적응형 3D 중앙값 필터를 사용하여 다수의 스테레오 유도 깊이 맵을 융합하며, 기존 방법 대비 0.36미터의 RMSE 향상을 달성한다.

ABSTRACT

This paper presents an automated pipeline for processing multi-view satellite images to 3D digital surface models (DSM). The proposed pipeline performs automated geo-referencing and generates high-quality densely matched point clouds. In particular, a novel approach is developed that fuses multiple depth maps derived by stereo matching to generate high-quality 3D maps. By learning critical configurations of stereo pairs from sample LiDAR data, we rank the image pairs based on the proximity of the results to the sample data. Multiple depth maps derived from individual image pairs are fused with an adaptive 3D median filter that considers the image spectral similarities. We demonstrate that the proposed adaptive median filter generally delivers better results in general as compared to normal median filter, and achieved an accuracy of improvement of 0.36 meters RMSE in the best case. Results and analysis are introduced in detail.

연구 동기 및 목표

• 매우 고해상도 다중 시점 위성 영상에서 고품질 3D 디지털 표면 모델(DSM)을 자동으로 생성하는 것.
• 복잡한 도시 및 자연 풍경에서 수동 조작 없이 정확하고 고밀도 3D 재구성을 달성하는 데 도전하는 것.
• 기준 LiDAR 데이터로부터 학습한 최적의 스테레오 쌍 구성 방식과 스펙트럼 유사도를 통합하여 깊이 맵 융합을 향상시키는 것.
• 지역 영상 콘텐츠와 스펙트럼 일관성에 따라 필터링 강도를 동적으로 조정하는 적응형 필터링 전략을 통해 포인트 클라우드의 노이즈와 오류를 감소시키는 것.

제안 방법

• 파이프라인은 다중 시점 위성 영상의 자동 지오레퍼런싱을 수행하여 공간적으로 정렬한다.
• 스테레오 매칭을 여러 영상 쌍에 적용하여 개별 깊이 맵을 생성한다.
• 샘플 LiDAR 데이터에 가까운 영상 쌍을 기반으로 최적의 스테레오 쌍을 선택하는 새로운 영상 쌍 순위 매기기 전략을 도입한다.
• 영상 간 스펙트럼 유사도에 따라 기여도를 가중치로 적용하는 적응형 3D 중앙값 필터를 사용하여 다수의 깊이 맵을 융합한다.
• 지역 영상 콘텐츠와 스펙트럼 일관성에 따라 필터링 강도를 동적으로 조정하여 노이즈는 감소시키면서도 경계는 유지한다.
• 최종적으로 융합된 깊이 맵을 병합하여 고밀도이고 지오레퍼런스된 DSM을 생성한다.

실험 결과

연구 질문

• RQ1 수동 조작 없이 매우 고해상도 다중 시점 위성 영상에서 고정밀 3D 재구성을 자동으로 달성할 수 있는가?
• RQ2 지표가 없는 상황에서 스테레오 쌍 선택을 어떻게 최적화할 수 있는가?
• RQ3 영상 쌍 간의 스펙트럼 유사도가 깊이 맵 융합 성능에 얼마나 기여하는가?
• RQ4 기존 중앙값 필터링 대비 적응형 3D 중앙값 필터링이 기하학적 세부 정보를 유지하면서 노이즈를 줄이는 데 얼마나 뛰어난가?
• RQ5 LiDAR 유도 스테레오 쌍 순위 매기기와 적응형 필터링을 사용할 경우 RMSE에서 측정 가능한 향상 수준은 어느 정도인가?

주요 결과

• 제안된 적응형 3D 중앙값 필터링은 기존 중앙값 필터링 대비 최상의 경우 0.36미터의 RMSE 향상을 달성했다.
• LiDAR 유도 스테레오 쌍 순위 매기기 방법은 기준 데이터에 더 가까운 깊이 맵을 생성하는 데 효과적으로 영상 쌍을 선택하여 전체 융합 품질을 향상시켰다.
• 스펙트럼 유사도 기반 가중치를 사용한 깊이 맵 융합은 최종 3D 포인트 클라우드의 정확성과 강건성을 크게 향상시켰다.
• 자동화된 파이프라인은 최소한의 인간 입력으로 다중 시점 위성 영상에서 고밀도이고 지오레퍼런스된 DSM을 성공적으로 생성했다.
• 이 방법은 다양한 도시 및 자연 지형 유형에서 일관된 성능 향상을 보이며 일반화 가능성에 대한 타당성을 입증했다.