[論文レビュー] Parallel Structure from Motion for UAV Images via Weighted Connected Dominating Set

San Ping Jiang, Qingquan Li+2 more|arXiv (Cornell University)|Jun 23, 2022

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本稿では、UAV画像の並列的構造から運動（SfM）フレームワークを提案し、重み付き連結支配集合（WCDS）を用いて効率的なクラスタマージを可能にするグローバルな幾何モデルを抽出する。語彙木ベースのマッチングと、特徴点マッチの分布から得られるエッジ重みを考慮する新しいWCDSアルゴリズムを活用することで、逐次的SfMと比較して17.4倍の高速化を達成しながら、同等の姿勢精度を維持し、水平方向および垂直方向にGSDの約2.0–3.0倍の地理的参照誤差を示した。

ABSTRACT

Incremental Structure from Motion (ISfM) has been widely used for UAV image orientation. Its efficiency, however, decreases dramatically due to the sequential constraint. Although the divide-and-conquer strategy has been utilized for efficiency improvement, cluster merging becomes difficult or depends on seriously designed overlap structures. This paper proposes an algorithm to extract the global model for cluster merging and designs a parallel SfM solution to achieve efficient and accurate UAV image orientation. First, based on vocabulary tree retrieval, match pairs are selected to construct an undirected weighted match graph, whose edge weights are calculated by considering both the number and distribution of feature matches. Second, an algorithm, termed weighted connected dominating set (WCDS), is designed to achieve the simplification of the match graph and build the global model, which incorporates the edge weight in the graph node selection and enables the successful reconstruction of the global model. Third, the match graph is simultaneously divided into compact and non-overlapped clusters. After the parallel reconstruction, cluster merging is conducted with the aid of common 3D points between the global and cluster models. Finally, by using three UAV datasets that are captured by classical oblique and recent optimized views photogrammetry, the validation of the proposed solution is verified through comprehensive analysis and comparison. The experimental results demonstrate that the proposed parallel SfM can achieve 17.4 times efficiency improvement and comparative orientation accuracy. In absolute BA, the geo-referencing accuracy is approximately 2.0 and 3.0 times the GSD (Ground Sampling Distance) value in the horizontal and vertical directions, respectively. For parallel SfM, the proposed solution is a more reliable alternative.

研究の動機と目的

• 逐次処理の制約によるUAV画像処理におけるインクリメンタルSfMの効率的ボトルネックを解消すること。
• 変動する被覆構造に強く、グローバルな幾何制約を導入することで、分割統治型SfMにおけるクラスタマージの性能を向上させること。
• 高い正確性を維持しながら計算時間を著しく短縮するスケーラブルな並列SfMパイプラインを開発すること。
• 軽量でありながら効果的なグローバルモデル抽出手法を用いて、信頼性の高い大規模UAV3次元再構築を可能にすること。

提案手法

• 語彙木ベースの画像検索から得られる無向重み付きマッチグラフを構築し、エッジ重みを特徴点マッチの数および空間的分布に反映させる。
• エッジ重みと重複度に基づいてキーノード（画像）を選択する重み付き連結支配集合（WCDS）アルゴリズムを設計し、コンactかつコンパクトなグローバルモデルを形成する。
• グローバルモデルを基準として、コンパクトで重複のないクラスタにマッチグラフを分割し、並列的SfM再構築を実行する。
• グローバルモデルと個々のクラスタ再構築の間で共通する3次元点を特定することで、クラスタマージを実行する。
• GCPを用いた絶対BAを実施し、残差統計を比較して地理的参照精度を評価する。
• 冗長処理を最小限に抑え、最終BAにおける高価値トラックに焦点を当てることで、パイプラインを最適化する。

実験結果

リサーチクエスチョン

• RQ1 WCDSを用いて抽出したグローバルモデルは、UAV画像の並列的SfMにおけるクラスタマージの正確性と頑健性を向上させることができるか？
• RQ2 提案手法のWCDSベースのグローバルモデルは、既存手法と比較して再構築の効率性および正確性において優れているか？
• RQ3 提案された並列的SfMソリューションは、姿勢正確性を維持したまま、計算時間をどの程度短縮できるか？
• RQ4 グローバルモデルは、大規模なUAVデータセットにおける地理的参照残差の分布と品質にどのように影響を与えるか？

主な発見

• 提案された並列的SfMは、逐次的SfMと比較して17.4倍の高速化を達成し、処理効率が著しく向上した。
• 提案手法の地理的参照精度は、水平方向でGSDの約2.0倍、垂直方向で約3.0倍であった。
• 絶対BAにおいて、提案手法はColMap や Pix4Dmapper などの最先端ツールと同等の正確性を達成し、XおよびY方向の残差標準偏差はそれぞれ0.020 mおよび0.024 mであった。
• WCDSベースのグローバルモデルは、均等に分布する残差を実現し、被覆構造が変動する場合でも頑健なマージを可能にした。
• グローバルモデルを構築するために約20%の画像が保持されたが、これは非常に大規模なデータセットではスケーラビリティに制限をもたらす可能性がある。
• 合計処理時間の約半分がシーンマージおよび最終BAに費やされており、類似変換とトラック選択の最適化の余地が示された。