[論文レビュー] Multi-View Large-Scale Bundle Adjustment Method for High-Resolution Satellite Images

Xu Huang, Rongjun Qin|arXiv (Cornell University)|May 22, 2019

Satellite Image Processing and Photogrammetry参考文献 15被引用数 6

ひとこと要約

本稿では、平面正射影とエピポーラ制約に基づくタイポイントマッチングアルゴリズムを用いて、多様な衛星データセットにおける幾何的および放射的歪みを補正する、高分解能衛星画像向けのマルチビュー大規模バンドル調整手法を提案する。この手法は、最小限のメモリで数万から数百万の変数を効率的にサブピクセル精度で最適化可能であり、計算制約がある中でも大規模ジオスペーシャルマッピングを現実可能にする。

ABSTRACT

Given enough multi-view image corresponding points (also called tie points) and ground control points (GCP), bundle adjustment for high-resolution satellite images is used to refine the orientations or most often used geometric parameters Rational Polynomial Coefficients (RPC) of each satellite image in a unified geodetic framework, which is very critical in many photogrammetry and computer vision applications. However, the growing number of high resolution spaceborne optical sensors has brought two challenges to the bundle adjustment: 1) images come from different satellite cameras may have different imaging dates, viewing angles, resolutions, etc., thus resulting in geometric and radiometric distortions in the bundle adjustment; 2) The large-scale mapping area always corresponds to vast number of bundle adjustment corrections (including RPC bias and object space point coordinates). Due to the limitation of computer memory, it is hard to refine all corrections at the same time. Hence, how to efficiently realize the bundle adjustment in large-scale regions is very important. This paper particularly addresses the multi-view large-scale bundle adjustment problem by two steps: 1) to get robust tie points among different satellite images, we design a multi-view, multi-source tie point matching algorithm based on plane rectification and epipolar constraints, which is able to compensate geometric and local nonlinear radiometric distortions among satellite datasets, and 2) to solve dozens of thousands or even millions of variables bundle adjustment corrections in the large scale bundle adjustment, we use an efficient solution with only a little computer memory. Experiments on in-track and off-track satellite datasets show that the proposed method is capable of computing sub-pixel accuracy bundle adjustment results.

研究の動機と目的

• バンドル調整の過程で生じる、マルチソース、マルチタイムスケール、マルチリモートセンシングの高分解像光学画像における幾何的および放射的歪みの課題を解決すること。
• 従来手法のメモリ制限を克服し、数万から数百万の変数を含む大規模領域における効率的なバンドル調整を可能にすること。
• 多様な衛星センサーや撮影条件に適応可能な、頑健でスケーラブルなタイポイントマッチングアルゴリズムの開発。
• 大規模データ量およびセンサの異質性にもかかわらず、バンドル調整結果においてサブピクセル精度を達成すること。

提案手法

• 平面正射影とエピポーラ制約を活用したマルチビュー・マルチソースタイポイントマッチングアルゴリズムを設計し、異なる衛星画像間でのマッチングの頑健性を向上させる。
• 画像正射影と制約ベースのマッチングにより、衛星データセット間の幾何的歪みおよび局所的な非線形放射的変動を補正する。
• すべての変数を一度に保持するのではなく、部分集合を繰り返し処理する戦略を採用することで、大規模バンドル調整問題に対するメモリ効率の良い解決策を実現する。
• 幾何パrameterモデルとしてリグナル・ポリノミアル係数（RPC）を主たるモデルとして採用し、統一された大地測量フレームワークの最適化を可能にする。
• 分散処理または逐次処理に最適化されたアプローチにより、収束性を維持しながらメモリフットプリントを低減する。
• スケーラビリティと精度を示すために、イントラックおよびオフトラックの衛星画像データセットを用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 幾何的および放射的歪みが著しい多様なソース、時間的スケール、解像度の衛星画像間で、信頼性の高いタイポイントをどのように抽出できるか？
• RQ2 数百万の変数を含む大規模バンドル調整を、メモリ使用量を最小限に抑えて実行するための計算戦略は何か？
• RQ3 提案手法が、高分解像衛星画像のアライメントにおいてどの程度サブピクセル精度を達成できるか？
• RQ4 平面正射影とエピポーラ制約の統合が、異種衛星データセットにおけるマッチング性能をどのように向上させるか？

主な発見

• 提案されたマルチビュータイポイントマッチングアルゴリズムは、顕著な幾何的および放射的歪みが存在する状況下でも、多様な衛星画像間で頑健な対応点を効果的に同定できた。
• イントラックおよびオフトラックの衛星画像データセットを用いた検証により、バンドル調整結果においてサブピクセル精度が達成された。
• メモリ効率の良いソリューションにより、数万から数百万の変数を含むバンドル調整が可能となり、従来の記憶制限を克服した。
• センサーや撮影条件の多様性にもかかわらず、大規模マッピング領域においても高い精度を維持しながら、本手法は頑健性とスケーラビリティを示した。