[논문 리뷰] Multi-View Large-Scale Bundle Adjustment Method for High-Resolution Satellite Images

Xu Huang, Rongjun Qin|arXiv (Cornell University)|2019. 05. 22.

Satellite Image Processing and Photogrammetry참고 문헌 15인용 수 6

한 줄 요약

이 논문은 고해상도 위성 이미지의 다중 시점 대규모 백터 조정 방법을 제안하며, 평면 정규화와 에피포러라 제약 기반의 피어싱 포인트 매칭 알고리즘을 사용하여 다양한 위성 데이터셋 간의 기하학적 및 복사적 왜곡을 해결한다. 이는 최소한의 메모리로 수만에서 수백만 개의 변수에 대한 효율적이고 서브픽셀 정확도의 정밀 조정을 가능하게 하여, 계산 자원 제약 속에서도 대규모 지리공간 맵핑을 실현한다.

ABSTRACT

Given enough multi-view image corresponding points (also called tie points) and ground control points (GCP), bundle adjustment for high-resolution satellite images is used to refine the orientations or most often used geometric parameters Rational Polynomial Coefficients (RPC) of each satellite image in a unified geodetic framework, which is very critical in many photogrammetry and computer vision applications. However, the growing number of high resolution spaceborne optical sensors has brought two challenges to the bundle adjustment: 1) images come from different satellite cameras may have different imaging dates, viewing angles, resolutions, etc., thus resulting in geometric and radiometric distortions in the bundle adjustment; 2) The large-scale mapping area always corresponds to vast number of bundle adjustment corrections (including RPC bias and object space point coordinates). Due to the limitation of computer memory, it is hard to refine all corrections at the same time. Hence, how to efficiently realize the bundle adjustment in large-scale regions is very important. This paper particularly addresses the multi-view large-scale bundle adjustment problem by two steps: 1) to get robust tie points among different satellite images, we design a multi-view, multi-source tie point matching algorithm based on plane rectification and epipolar constraints, which is able to compensate geometric and local nonlinear radiometric distortions among satellite datasets, and 2) to solve dozens of thousands or even millions of variables bundle adjustment corrections in the large scale bundle adjustment, we use an efficient solution with only a little computer memory. Experiments on in-track and off-track satellite datasets show that the proposed method is capable of computing sub-pixel accuracy bundle adjustment results.

연구 동기 및 목표

• 백터 조정 과정에서 다중 위성, 다중 시기, 다중 해상도 고해상도 광학 영상에서 발생하는 기하학적 및 복사적 왜곡 문제를 해결하기 위해.
• 기존 방법의 메모리 제약을 극복하고, 수만에서 수백만 개의 변수를 포함하는 대규모 영역에 대해 효율적인 백터 조정을 가능하게 하기 위해.
• 다양한 위성 센서와 영상 조건에 대응할 수 있는 강력하고 확장 가능한 피어싱 포인트 매칭 알고리즘 개발을 위해.
• 대규모 데이터 볼륨과 센서 이질성에도 불구하고 백터 조정 결과의 서브픽셀 정확도를 달성하기 위해.

제안 방법

• 기하학적 왜곡과 위성 이미지 간 국소 비선형 복사적 변형을 보완하기 위해 평면 정규화와 에피포러라 제약을 활용한 다중 시점, 다중 소스 피어싱 포인트 매칭 알고리즘을 설계하였다.
• 이 방법은 이미지 정규화와 제약 기반 매칭을 통해 위성 데이터셋 간 기하학적 왜곡과 국소 비선형 복사적 변형을 보정한다.
• 모든 변수를 한 번에 저장하는 대신 부분 집합을 반복적으로 처리하는 방식으로, 대규모 백터 조정 문제를 메모리 효율적으로 해결한다.
• 기하학적 매개변수 모델로 라이선스 다항계수(RPC)를 주로 사용하여 통합된 천체 기준 프레임워크 정밀 조정을 가능하게 한다.
• 메모리 사용량을 줄이면서 수렴성을 유지하기 위해 분산 또는 순차 처리에 최적화된 알고리즘을 적용하였다.
• 확장성과 정확도를 입증하기 위해, 이선형 및 비이선형 위성 이미지 데이터셋 모두에서 방법을 검증하였다.

실험 결과

연구 질문

• RQ1 기하학적 및 복사적 왜곡이 다양하게 존재하는 다중 소스, 다중 시기, 다중 해상도 위성 영상 간에 신뢰성 있는 강력한 피어싱 포인트를 어떻게 추출할 수 있는가?
• RQ2 수백만 개의 변수를 포함하는 대규모 백터 조정을 수행하면서 메모리 사용량을 최소화할 수 있는 계산 전략은 무엇인가?
• RQ3 제안된 방법이 고해상도 위성 영상 정렬에서 얼마나 높은 서브픽셀 정확도를 달성할 수 있는가?
• RQ4 평면 정규화와 에피포러라 제약의 통합이 이질적인 위성 데이터셋에서 매칭 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 다중 시점 피어싱 포인트 매칭 알고리즘이 심한 기하학적 및 복사적 왜곡이 존재하는 다양한 위성 영상 간에도 강력한 대응점을 성공적으로 식별한다.
• 이론적 검증과 함께 이선형 및 비이선형 위성 영상 데이터셋에서 모두 백터 조정 결과의 서브픽셀 정확도를 달성한다.
• 메모리 효율적인 솔루션 덕분에 수만에서 수백만 개의 변수를 포함하는 백터 조정이 가능해져 기존의 저장 제약을 초월한다.
• 센서와 영상 조건의 다양성에도 불구하고 대규모 맵핑 영역에서 높은 정밀도를 유지하면서 강력성과 확장성을 입증한다.