[논문 리뷰] A New Stereo Benchmarking Dataset for Satellite Images

Sonali Patil, Bharath Comandur외 2명|arXiv (Cornell University)|2019. 07. 09.

Advanced Vision and Imaging참고 문헌 21인용 수 25

한 줄 요약

이 논문은 위성 영상용 새로운 스테레오 기준 데이터셋을 소개한다. 이 데이터셋은 10개의 관심영역(AOIs)을 포함하며, 스테레오 정렬된 WorldView-3(UCSD의 경우 WorldView-2 포함) 영상과 지상 진술된 시차를 제공한다. 시차는 스테레오 쌍을 융합하여 디지털 표면 모델(DSM)을 생성하고, 30cm 해상도의 LiDAR 데이터와 정렬한 후, 이를 통해 3차원 좌표로 역투영하여 픽셀 단위의 시차를 계산함으로써 유도된다. 이 데이터셋은 0.5 픽셀 이내의 하위픽셀 정렬 정확도(평균 오차 <0.5 픽셀)를 달성하였으며, 인간이 수작업으로 기록한 관측점 기반의 정량적 검증을 제공한다. UCSD와 잭슨빌의 평균 시차 오차는 각각 1.23 픽셀과 1.84 픽셀이다.

ABSTRACT

In order to facilitate further research in stereo reconstruction with multi-date satellite images, the goal of this paper is to provide a set of stereo-rectified images and the associated groundtruthed disparities for 10 AOIs (Area of Interest) drawn from two sources: 8 AOIs from IARPA's MVS Challenge dataset and 2 AOIs from the CORE3D-Public dataset. The disparities were groundtruthed by first constructing a fused DSM from the stereo pairs and by aligning 30 cm LiDAR with the fused DSM. Unlike the existing benckmarking datasets, we have also carried out a quantitative evaluation of our groundtruthed disparities using human annotated points in two of the AOIs. Additionally, the rectification accuracy in our dataset is comparable to the same in the existing state-of-the-art stereo datasets. In general, we have used the WorldView-3 (WV3) images for the dataset, the exception being the UCSD area for which we have used both WV3 and WorldView-2 (WV2) images. All of the dataset images are now in the public domain. Since multi-date satellite images frequently include images acquired in different seasons (which creates challenges in finding corresponding pairs of pixels for stereo), our dataset also includes for each image a building mask over which the disparities estimated by stereo should prove reliable. Additional metadata included in the dataset includes information about each image's acquisition date and time, the azimuth and elevation angles of the camera, and the intersection angles for the two views in a stereo pair. Also included in the dataset are both quantitative and qualitative analyses of the accuracy of the groundtruthed disparity maps. Our dataset is available for download at \url{https://engineering.purdue.edu/RVL/Database/SatStereo/index.html}

연구 동기 및 목표

• 푸시브룸 카메라에서 촬영한 다중 일자 위성 영상용 공개 가능하고 고성능의 스테레오 기준 데이터셋이 부족한 문제를 해결하기 위해.
• IARPA의 MVS 챌린지 및 CORE3D-Public의 영역을 포함한 10개의 다양한 AOIs에 대해 지상 진술된 시차가 있는 스테레오 정렬 영상 쌍을 제공하기 위해.
• 두 개의 AOIs에서 인간이 수작업으로 기록한 관측점을 활용해 시차 정확도를 정량적으로 평가할 수 있도록 하여 스테레오 매칭 연구를 향상시키기 위해.
• 촬영 시간, 카메라 각도, 교차 각도 등의 메타데이터를 포함하여 대규모 스테레오 복원을 지원하기 위해.
• 건물 마스크를 제공하여 시차가 더 정확할 것으로 기대되는 영역을 식별함으로써 신뢰성을 향상시키기 위해.

제안 방법

• 지상 진술된 시차는 먼저 스테레오 영상 쌍을 융합하여 디지털 표면 모델(DSM)로 생성함으로써 생성된다.
• 융합된 DSM은 30cm 해상도의 항공 LiDAR 데이터와 정렬되어 고정밀 높이 기준이 된다.
• 정렬된 기준 영상의 각 픽셀에 대해 카메라 모델을 사용하여 해당 3차원 세계 좌표를 역투영하고, LiDAR에 정렬된 DSM에서 높이를 추출한다.
• 역투영된 3차원 좌표를 기반으로 정렬된 스테레오 쌍의 대응 픽셀 간의 수평 오프셋으로 시차를 계산한다.
• Y-오차를 최소화하는 커스터마이즈된 방법을 사용하여 정렬을 수행하였으며, 모든 스테레오 쌍에서 하위픽셀 정확도(평균 오차 <0.5 픽셀)를 달성하였다.
• 건물 마스크는 LiDAR 데이터에 건물 탐지 도구를 적용한 후 수작업 보정을 거친 후, 역정렬 매핑을 사용하여 정렬된 영상 공간으로 투영함으로써 생성된다.

실험 결과

연구 질문

• RQ1 인간이 수작업으로 기록한 관측점 기반으로 검증했을 때, 제안된 위성 스테레오 데이터셋의 지상 진술된 시차는 얼마나 정확한가?
• RQ2 다중 일자 위성 영상에서 시간에 따른 변화가 스테레오 매칭 성능에 어떤 영향을 미치며, 촬영 간격이 길어질수록 그 영향은 어떻게 변화하는가?
• RQ3 푸시브룸 위성 영상의 정렬 정확도는 최신 기준 스테레오 데이터셋과 비교해 볼 때, 정렬된 좌표에서 Y-오차 측면에서 어떻게 비교되는가?
• RQ4 건물 마스크는 안정적인 시나리오 콘텐츠로 인해 시차 추정이 더 신뢰할 수 있는 영역을 효과적으로 식별할 수 있는가?
• RQ5 시즌적 변화나 비시즌적 변화(예: 차량, 그림자)가 오래된 위성 영상 쌍에서 스테레오 매칭 정확도에 어떤 영향을 미치는가?

주요 결과

• 모든 스테레오 쌍에서 평균 정렬 오차는 0.5 픽셀 이하이며, Middlebury2014 기준 데이터셋과 유사하다.
• UCSD AOI에서는 인간이 수작업으로 기록한 관측점을 사용한 평균 시차 오차가 1.23 픽셀이며, 잭슨빌에서는 1.84 픽셀이다.
• 스테레오 매칭 알고리즘(SGM 및 MSMW)은 촬영 간격이 100~250일 사이일 경우 오차율이 뚜렷이 증가하며, 특히 건물 외부 영역에서 두드러진다.
• 건물 마스크는 시차 정확도가 높은 영역을 효과적으로 식별한다. 스테레오 매칭 오차는 마스크 영역 내에서 일관되게 낮다.
• 이 데이터셋은 스테레오 쌍 수가 53~505개인 10개의 AOIs를 포함하며, 모든 영상가 공개 가능하며 촬영 시간, 카메라 각도, 교차 각도 등의 완전한 메타데이터를 포함한다.
• LiDAR에 정렬된 DSM을 사용한 지상 진술 파이프라인은 하위픽셀 수준의 시차 추정을 가능하게 하며, 결과적으로 계절 변화 및 시간적 불일치와 같은 실제 도전 과제를 고려한 스테레오 알고리즘 평가에 적합한 데이터셋을 제공한다.