[논문 리뷰] Parallel Structure from Motion for UAV Images via Weighted Connected Dominating Set

San Ping Jiang, Qingquan Li외 2명|arXiv (Cornell University)|2022. 06. 23.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 UAV 영상에 대한 병렬 구조에서 운동 추정(SfM) 프레임워크를 제안하며, 효율적인 클러스터 병합을 위한 전역 기하 모델을 추출하기 위해 가중치가 부여된 연결 지배 집합(WCDS)을 사용한다. 어휘 트리 기반 매칭과 특징 매칭 분포에서 유도된 간선 가중치를 고려하는 새로운 WCDS 알고리즘을 활용함으로써, 순차적 SfM 대비 17.4배의 속도 향상을 달성하면서도 동일한 정도의 자세 정확도를 유지한다. 지오레퍼런싱 오차는 수평 및 수직 방향으로 각각 GSD의 약 2.0–3.0배 수준이다.

ABSTRACT

Incremental Structure from Motion (ISfM) has been widely used for UAV image orientation. Its efficiency, however, decreases dramatically due to the sequential constraint. Although the divide-and-conquer strategy has been utilized for efficiency improvement, cluster merging becomes difficult or depends on seriously designed overlap structures. This paper proposes an algorithm to extract the global model for cluster merging and designs a parallel SfM solution to achieve efficient and accurate UAV image orientation. First, based on vocabulary tree retrieval, match pairs are selected to construct an undirected weighted match graph, whose edge weights are calculated by considering both the number and distribution of feature matches. Second, an algorithm, termed weighted connected dominating set (WCDS), is designed to achieve the simplification of the match graph and build the global model, which incorporates the edge weight in the graph node selection and enables the successful reconstruction of the global model. Third, the match graph is simultaneously divided into compact and non-overlapped clusters. After the parallel reconstruction, cluster merging is conducted with the aid of common 3D points between the global and cluster models. Finally, by using three UAV datasets that are captured by classical oblique and recent optimized views photogrammetry, the validation of the proposed solution is verified through comprehensive analysis and comparison. The experimental results demonstrate that the proposed parallel SfM can achieve 17.4 times efficiency improvement and comparative orientation accuracy. In absolute BA, the geo-referencing accuracy is approximately 2.0 and 3.0 times the GSD (Ground Sampling Distance) value in the horizontal and vertical directions, respectively. For parallel SfM, the proposed solution is a more reliable alternative.

연구 동기 및 목표

• 순차적 처리 제약으로 인해 UAV 영상 처리에서 인크리멘탈 SfM의 효율성에 대한 한계를 해결하기 위해.
• 다양한 겹침 구조에 대해 강건한 전역 기하 제약 조건을 도입함으로써 분할-정복 SfM에서의 클러스터 병합을 향상시키기 위해.
• 높은 정확도를 유지하면서도 계산 시간을 크게 줄이는 확장 가능한 병렬 SfM 파이프라인을 개발하기 위해.
• 경량이지만 효과적인 전역 모델 추출 방법을 통해 신뢰할 수 있고 대규모 UAV 3D 재구성을 가능하게 하기 위해.

제안 방법

• 어휘 트리 기반 영상 검색에서 유도된 무방향 가중치 매칭 그래프를 구축하며, 간선 가중치는 특징 매칭의 수와 공간 분포를 반영한다.
• 간선 가중치와 중복도를 기반으로 핵심 노드(영상)를 선택하여 컴act하고 연결된 전역 모델을 형성하는 가중치가 부여된 연결 지배 집합(WCDS) 알고리즘을 설계한다.
• 전역 모델을 기준으로 하여 컴act하고 겹치지 않는 클러스터로 매칭 그래프를 분할하여 병렬 SfM 재구성을 수행한다.
• 전역 모델과 개별 클러스터 재구성 간의 공통 3D 점을 식별하여 클러스터 병합을 수행한다.
• 지오레퍼런싱 정확도 평가를 위해 GCP를 활용한 절대 밸런스 조정을 적용하며, 잔차 통계를 비교 자료로 사용한다.
• 최종 BA에서 높은 가치를 지닌 트랙에 집중하고 중복 처리를 최소화함으로써 파이프라인을 최적화한다.

실험 결과

연구 질문

• RQ1 WCDS를 통해 추출한 전역 모델이 UAV 영상의 병렬 SfM에서 클러스터 병합의 정확도와 강건성에 기여하는가?
• RQ2 제안된 WCDS 기반 전역 모델은 기존 방법 대비 재구성 효율성과 정확도 측면에서 어떻게 비교되는가?
• RQ3 제안된 병렬 SfM 솔루션은 계산 시간을 얼마나 줄이며, 자세 정확도를 유지하는가?
• RQ4 전역 모델은 대규모 UAV 데이터셋에서 지오레퍼런싱 잔차의 분포와 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 병렬 SfM는 순차적 SfM 대비 17.4배의 속도 향상을 달성하여 처리 효율성이 크게 향상되었다.
• 제안된 방법의 지오레퍼런싱 정확도는 수평 및 수직 방향으로 각각 GSD의 약 2.0배와 3.0배 수준이었다.
• 절대 BA에서 제안된 방법은 ColMap 및 Pix4Dmapper와 같은 최신 기술 수준의 도구와 비교해 유사한 정확도를 달성하였으며, X 및 Y 방향에서 잔차의 표준편차는 각각 0.020 m와 0.024 m였다.
• WCDS 기반 전역 모델은 잔차의 분포를 더 균일하게 만들고, 다양한 겹침 구조에서도 강건한 병합을 가능하게 하였다.
• 전역 모델을 구축하기 위해 약 20%의 영상만 유지되었으며, 이는 매우 대규모 데이터셋에서는 확장성에 제약가능성을 암시한다.
• 총 처리 시간의 약 절반은 시(scene) 병합 및 최종 BA에 소요되었으며, 이는 유사도 변환과 트랙 선택 최적화의 여지가 있음을 시사한다.