[논문 리뷰] Height estimation from single aerial images using a deep ordinal regression network

Xiang Li, Mingyang Wang외 1명|arXiv (Cornell University)|2020. 06. 04.

Advanced Vision and Imaging참고 문헌 22인용 수 7

한 줄 요약

이 논문은 단일 항공 영상에서 고도 추정을 위한 딥 오더링 회귀 네트워크를 제안하며, 연속적인 고도 회귀 문제를 간격 증가 간격과 오더링 손실을 사용하여 순서 분류 문제로 변환한다. 다중 척도 특징 추출을 위해 Atrous Spatial Pyramid Pooling (ASPP)을 통합하고, 매끄러운 고도 지도를 얻기 위한 후처리 기법을 적용함으로써, Vaihingen 및 Potsdam 데이터셋에서 각각 1.698m와 1.404m의 RMSE를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Understanding the 3D geometric structure of the Earth's surface has been an active research topic in photogrammetry and remote sensing community for decades, serving as an essential building block for various applications such as 3D digital city modeling, change detection, and city management. Previous researches have extensively studied the problem of height estimation from aerial images based on stereo or multi-view image matching. These methods require two or more images from different perspectives to reconstruct 3D coordinates with camera information provided. In this paper, we deal with the ambiguous and unsolved problem of height estimation from a single aerial image. Driven by the great success of deep learning, especially deep convolution neural networks (CNNs), some researches have proposed to estimate height information from a single aerial image by training a deep CNN model with large-scale annotated datasets. These methods treat height estimation as a regression problem and directly use an encoder-decoder network to regress the height values. In this paper, we proposed to divide height values into spacing-increasing intervals and transform the regression problem into an ordinal regression problem, using an ordinal loss for network training. To enable multi-scale feature extraction, we further incorporate an Atrous Spatial Pyramid Pooling (ASPP) module to extract features from multiple dilated convolution layers. After that, a post-processing technique is designed to transform the predicted height map of each patch into a seamless height map. Finally, we conduct extensive experiments on ISPRS Vaihingen and Potsdam datasets. Experimental results demonstrate significantly better performance of our method compared to the state-of-the-art methods.

연구 동기 및 목표

• 이전에는 다중 시점 스테레오 또는 다중 영상 방법에 국한되었던 단일 항공 영상에서의 고도 추정 문제에 도전한다.
• 무한대 실수 출력으로 인해 수렴 속도가 느리고 최적해가 아닌 해를 도출하는 등의 딥 러닝의 직접적 회귀의 한계를 극복한다.
• 간격 증가 간격을 사용한 순서 분류 문제로 회귀 작업을 재구성하여 고도 추정 정확도를 향상시킨다.
• 다양한 비율의 확장 컨볼루션을 사용하는 Atrous Spatial Pyramid Pooling (ASPP) 모듈을 통합하여 다중 척도 특징 학습을 향상시킨다.
• 패치 기반 예측을 하나의 매끄럽고 고해상도 디지털 표면 모델(DSM)로 통합하기 위한 후처리 전략을 개발한다.

제안 방법

• 연속적인 고도 값을 간격 증가 간격(SID)으로 이산화하여 회귀 문제를 순서 분류 작업으로 변환한다.
• 예측된 이산 고도 지도와 진짜값 간의 비교를 위한 오더링 손실 함수를 사용해 완전 컨볼루션형 인코더-디코더 네트워크를 훈련시킨다.
• 다양한 비율을 가진 확장 컨볼루션을 사용해 다중 척도 특징을 추출하기 위해 Atrous Spatial Pyramid Pooling (ASPP) 모듈을 통합한다.
• GPU 메모리 제약으로 인해 패치 기반 훈련 전략을 사용하고, 개별 패치 예측 결과를 매끄럽게 통합하기 위한 후처리 기법을 적용한다.
• 고도 간격의 순서적 성격을 고려한 맞춤형 오더링 회귀 손실을 사용해 네트워크를 종합적으로 최적화한다.
• 특징 추출을 위해 사전 학습된 백본(예: ResNet)을 활용하고, ISPRS Vaihingen 및 Potsdam 데이터셋에서 전체 네트워크를 미세 조정한다.

실험 결과

연구 질문

• RQ1 간격 증가 간격을 사용한 순서 분류 문제로 회귀를 재구성함으로써 단일 항공 영상에서의 고도 추정 성능을 크게 향상시킬 수 있는가?
• RQ2 표준 평균 제곱 오차(MSE) 회귀 손실과 비교했을 때, 순서 손실 함수의 사용이 최적화 및 성능 향상에 기여하는가?
• RQ3 Atrous Spatial Pyramid Pooling (ASPP) 모듈이 항공 고도 추정에 있어 다중 척도 특징 학습을 얼마나 향상시키는가?
• RQ4 제안된 후처리 기법은 패치 기반 예측 결과로부터 매끄럽고 고해상도 디지털 표면 모델(DSM)을 얼마나 효과적으로 생성하는가?
• RQ5 제안된 방법은 Vaihingen 및 Potsdam과 같은 기준 항공 데이터셋에서 기존 최신 기술 수준의 접근법을 초월하는가?

주요 결과

• 제안된 방법은 ISPRS Vaihingen 데이터셋에서 RMSE 1.698m, Potsdam 데이터셋에서 RMSE 1.404m를 기록하며 기존 최신 기술 수준의 방법들을 크게 능가한다.
• 간격 증가 간격(SID) 이산화를 사용함으로써 상대적 손실이 0.814(MSE 기준)에서 0.314로 감소하여 최적화 및 정확도 향상이 뚜렷하게 입증되었다.
• 오더링 회귀 손실은 다중 클래스 분류 손실보다 상대적 손실이 0.105 감소하고 δ3 정확도 지표가 0.481 높게 기록되어 성능이 뛰어나다.
• ASPP 모듈을 통합함으로써 RMSE가 3.522m에서 1.698m로 2.5m 이상 향상되어 다중 척도 특징 학습에서 핵심적인 역할을 한다는 것이 입증되었다.
• 절단 실험 결과 SID 이산화와 ASPP가 모두 필수적인 구성 요소임을 확인하였으며, SID만을 적용해도 MSE 회귀 대비 RMSE가 1.519m 감소하였다.
• 예측된 고도 지도와 함께 강력한 의미적 레이블링 능력을 보이며, 향후 원격 감시 작업에 활용 가능함을 시사한다.