[論文レビュー] Automatic Stockpile Volume Monitoring using Multi-view Stereo from SkySat Imagery

Roger Marí, Carlo de Franchis+2 more|arXiv (Cornell University)|Mar 1, 2021

3D Surveying and Cultural Heritage参考文献 19被引用数 2

ひとこと要約

本論文では、時系列的なSkySat衛星画像を用いて在庫積み出し量を自動的に監視するシステムを提示する。日別に最適化された有理多項式カメラ（RPC）モデルを活用し、衛星の姿勢誤差を補正することで一貫性のある3次元再構築を実現する。この手法により、マルチビュー・ステレオから高品質なデジタル表面モデル（DSM）が得られ、不規則な石炭在庫の体積を高精度に推定可能であり、現場での測定値と相関係数85％、体積密度適合度1.02 Mt/1,000 m³で検証されている。

ABSTRACT

This paper proposes a system for automatic surface volume monitoring from time series of SkySat pushframe imagery. A specific challenge of building and comparing large 3D models from SkySat data is to correct inconsistencies between the camera models associated to the multiple views that are necessary to cover the area at a given time, where these camera models are represented as Rational Polynomial Cameras (RPCs). We address the problem by proposing a date-wise RPC refinement, able to handle dynamic areas covered by sets of partially overlapping views. The cameras are refined by means of a rotation that compensates for errors due to inaccurate knowledge of the satellite attitude. The refined RPCs are then used to reconstruct multiple consistent Digital Surface Models (DSMs) from different stereo pairs at each date. RPC refinement strengthens the consistency between the DSMs of each date, which is extremely beneficial to accurately measure volumes in the 3D surface models. The system is tested in a real case scenario, to monitor large coal stockpiles. Our volume estimates are validated with measurements collected on site in the same period of time.

研究の動機と目的

• 不正確なRPCモデルによるマルチビューSkySat画像からの一貫性のない3次元再構築の課題に対処すること。
• 石炭ターミナルのような動的工業環境において、大規模で不規則な在庫の正確で自動的な体積監視を可能にすること。
• 衛星固有のパrameterに依存しない汎用的で日別RPC最適化手法を開発すること。
• 6か月間の時系列で現場での石炭重量測定値を用いて、システムの性能を検証すること。

提案手法

• 元のRPCに不正確さが生じる姿勢に起因する誤差を補正するため、日別RPC最適化を実施し、姿勢誤差を補償する回転を推定する。
• 最適化されたRPCを用いて、重複するシーンからのマルチビュー・ステレオ処理により、1日ごとに一貫性のある複数のデジタル表面モデル（DSM）を再構築する。
• デジタル地形モデル（DTM）を差し引くことで正規化DSM（nDSM）を算出し、3〜30メートルの高さ範囲に限定して在庫特徴を抽出する。
• 高さしきい値と動的マスク（Mdynamic）を適用して、ノイズ、機械、表面粗さを除外し、関連する在庫の高さのみを保持する。
• nDSM内の個々の1m×1m×hセルの体積を合算して在庫体積を算出する。体積計算式はV = Σ(li × wi × hi)であり、li = wi = 1mである。
• 推定体積と現場での石炭重量測定値の相関を図るため、線形最小二乗回帰を適用し、体積密度係数として1.02 Mt/1,000 m³が得られた。

実験結果

リサーチクエスチョン

• RQ1 RPC最適化は、動的工業地域におけるマルチビューSkySat画像から得られる3次元表面モデルの整合性と正確性を向上させることができるか？
• RQ2 提案された日別RPC最適化は、衛星の姿勢不正確性に起因する深度推定誤差をどれほど低減できるか？
• RQ3 最適化されたDSMから得られる体積推定値は、現実の現場での石炭重量測定値とどの程度相関するか？
• RQ4 石炭積み出し場のような非常に動的な環境でも、このシステムは時間経過に伴う体積変化を信頼性高く追跡できるか？

主な発見

• 推定在庫体積と現場での石炭重量測定値との間に強い相関（85％）が確認され、高い信頼性を示した。
• データに適合した線形回帰モデルにより、体積密度係数が1.02 Mt/1,000 m³となり、地面補正量が0.3 Mtであった。これは一貫した体積-重量換算を示している。
• 隣接する日付の現場測定値と比較した場合、体積推定誤差は通常0.3 Mt未満であった。
• RPC最適化プロセスにより、同じ日付における異なるステレオペア間のDSMの一貫性が顕著に向上し、体積推定精度が向上した。
• 変化する在庫とインfra構造を伴う動的シーンを効果的に処理でき、実運用状況下でも高い耐性を示した。
• 高さしきい値（3〜30 m）と動的マスクの使用により、機械や表面不規則性に起因するノイズが効果的に低減され、体積推定の精度が向上した。