[論文レビュー] A New Stereo Benchmarking Dataset for Satellite Images

Sonali Patil, Bharath Comandur+2 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Vision and Imaging参考文献 21被引用数 25

ひとこと要約

本論文は、衛星画像用の新しいステレオベンチマークデータセットを紹介する。このデータセットは、10の地域（AOI）を含み、ステレオ補正済みのWorldView-3（UCSD用にWorldView-2も含む）画像と、地面真理化された視差を備えている。視差は、ステレオペアを統合してデジタル表面モデル（DSM）を作成し、30 cm解像度のLiDARデータと整合させた後、再投影してピクセル単位の視差を計算することで得られる。データセットはサブピクセルの補正精度（平均誤差 <0.5ピクセル）を達成しており、人間がアノテートしたタイポイントを用いた定量的検証が行われ、UCSDとジャクソンビルの平均視差誤差はそれぞれ1.23ピクセルおよび1.84ピクセルであった。

ABSTRACT

In order to facilitate further research in stereo reconstruction with multi-date satellite images, the goal of this paper is to provide a set of stereo-rectified images and the associated groundtruthed disparities for 10 AOIs (Area of Interest) drawn from two sources: 8 AOIs from IARPA's MVS Challenge dataset and 2 AOIs from the CORE3D-Public dataset. The disparities were groundtruthed by first constructing a fused DSM from the stereo pairs and by aligning 30 cm LiDAR with the fused DSM. Unlike the existing benckmarking datasets, we have also carried out a quantitative evaluation of our groundtruthed disparities using human annotated points in two of the AOIs. Additionally, the rectification accuracy in our dataset is comparable to the same in the existing state-of-the-art stereo datasets. In general, we have used the WorldView-3 (WV3) images for the dataset, the exception being the UCSD area for which we have used both WV3 and WorldView-2 (WV2) images. All of the dataset images are now in the public domain. Since multi-date satellite images frequently include images acquired in different seasons (which creates challenges in finding corresponding pairs of pixels for stereo), our dataset also includes for each image a building mask over which the disparities estimated by stereo should prove reliable. Additional metadata included in the dataset includes information about each image's acquisition date and time, the azimuth and elevation angles of the camera, and the intersection angles for the two views in a stereo pair. Also included in the dataset are both quantitative and qualitative analyses of the accuracy of the groundtruthed disparity maps. Our dataset is available for download at \url{https://engineering.purdue.edu/RVL/Database/SatStereo/index.html}

研究の動機と目的

• プッシュブロムカメラによるマルチデート衛星画像のための、公開可能で高品質なステレオベンチマークデータセットが不足している問題を解決すること。
• IARPAのMVSチャレンジおよびCORE3D-Publicに含まれる地域を含む、10の多様なAOIについて、地面真理化された視差を備えたステレオ補正済み画像ペアを提供すること。
• 2つのAOIで人間がアノテートしたタイポイントを用いて、視差精度の定量的評価を可能にすることで、ステレオマッチング研究を向上させること。
• 取得時刻、カメラの角度、交差角などのメタデータを含めることで、大規模なステレオ再構築を支援すること。
• 建物マスクを提供することで、視差がより正確に予測できる領域を特定し、信頼性を向上させること。

提案手法

• 地面真理化された視差は、まずステレオ画像ペアを統合してデジタル表面モデル（DSM）を作成することで生成される。
• 統合されたDSMは、30 cm解像度の航空LiDARデータと一致させられ、高精度な高さ基準が作成される。
• 補正済み基準画像内の各ピクセルについて、カメラモデルを用いて3次元世界座標に再投影され、LiDARに整合されたDSMから高さが取得される。
• 視差は、再投影された3次元座標に基づいて、補正済みステレオペア内の対応ピクセル間の水平オフセットとして計算される。
• 補正は、y誤差を最小化するカスタム手法により実施され、すべてのステレオペアでサブピクセルの精度（平均誤差 <0.5ピクセル）が達成された。
• 建物マスクは、LiDARデータを緯度経度空間で処理し、建物検出ツールを適用した後、手動での修正を経て、逆補正マップを用いて補正済み画像空間に投影することで作成された。

実験結果

リサーチクエスチョン

• RQ1 人間がアノテートしたタイポイントを用いた検証において、提案された衛星ステレオデータセットの地面真理化視差の正確さはどの程度か？
• RQ2 マルチデート衛星画像における時間的変化は、ステレオマッチング性能にどの程度影響を及ぼすか。また、取得間隔の差が性能に与える影響はどのように変化するか？
• RQ3 プッシュブロム衛星画像の補正精度は、最新のステレオベンチマークデータセットと比較して、補正済み座標におけるy誤差の観点からどの程度か？
• RQ4 建物マスクは、安定したシーンコンテンツがあるため視差推定がより信頼性が高いと予想される領域を効果的に特定できるか？
• RQ5 季節的および非季節的変化（例：車両、影）が、古くなった衛星画像ペアにおけるステレオマッチング精度に与える影響は何か？

主な発見

• すべてのステレオペアにおける平均補正誤差は0.5ピクセル未満であり、Middlebury2014ベンチマークデータセットと同等の精度であった。
• UCSDのAOIでは、人間がアノテートしたタイポイントを用いた平均視差誤差が1.23ピクセルであり、ジャクソンビルでは1.84ピクセルであった。
• ステレオマッチングアルゴリズム（SGMおよびMSMW）は、取得間隔が100〜250日間の画像ペアで、特に建物外領域において顕著に高い誤差率を示した。
• 建物マスクは、マスク領域内でのステレオマッチング誤差が一貫して低くなることから、より高い視差精度が期待できる領域を効果的に特定している。
• 本データセットには10のAOIが含まれており、ステレオペア数は53から505まで変動する。すべての画像はメタデータ（取得時刻、カメラの角度、交差角など）を含めて公開されている。
• LiDARに整合されたDSMを用いた地面真理化パイプラインにより、サブピクセルの視差推定が可能となり、季節的変化や時間的ずれといった実世界の課題を想定したステレオアルゴリズムの評価に適したデータセットが得られた。