[論文レビュー] The Time-SIFT method : detecting 3-D changes from archival photogrammetric analysis with almost exclusively image information

Denis Feurer, Fabrice Vinatier|arXiv (Cornell University)|Jul 25, 2018

3D Surveying and Cultural Heritage参考文献 29被引用数 4

ひとこと要約

本論文では、アーカイブ済み空中写真から3次元的変化を検出するための新規手法であるTime-SIFTを紹介する。SfMパイプラインにおけるSIFTに類似した特徴の不変性を活用することで、地上コントロールポイントやキャリブレーションデータを必要とせず、自動的かつ低熟練度でマルチタイムスパンのデジタルエレベーションモデル（DEMs）および差分デジタルエレベーションモデル（DoDs）を生成可能となり、地上コントロールポイントやキャリブレーションデータなしで正確な3次元的変化検出を実現する。

ABSTRACT

Archival aerial imagery is a source of worldwide very high resolution data for documenting paste 3-D changes. However, external information is required so that accurate 3-D models can be computed from archival aerial imagery. In this research, we propose and test a new method, termed Time-SIFT (Scale Invariant Feature Transform), which allows for computing coherent multi-temporal Digital Elevation Models (DEMs) with almost exclusively image information. This method is based on the invariance properties of the SIFT-like methods which are at the root of the Structure from Motion (SfM) algorithms. On a test site of 170 km2, we applied SfM algorithms to a unique image block with all the images of four different dates covering forty years. We compared this method to more classical methods based on the use of affordable additional data such as ground control points collected in recent orthophotos. We did extensive tests to determine which processing choices were most impacting on the final result. With these tests, we aimed at evaluating the potential of the proposed Time-SIFT method for the detection and mapping of 3-D changes. Our study showed that the Time-SIFT method was the prime criteria that allowed for computing informative DEMs of difference with almost exclusively image information and limited photogrammetric expertise and human intervention. Due to the fact that the proposed Time-SIFT method can be automatically applied with exclusively image information, our results pave the way to a systematic processing of the archival aerial imagery on very large spatio-temporal windows, and should hence greatly help the unlocking of archival aerial imagery for the documenting of past 3-D changes.

研究の動機と目的

• アーカイブド・ジオメトリーディングにおけるキャリブレーションデータや地上コントロールポイント（GCP）の入手困難な課題に対処すること。
• 写真測地学的熟練を要しない大規模な歴史的空中写真アーカイブのシステム的処理を可能とし、3次元的変化検出を実現すること。
• 新規なSIFTベースの手法を用いて、画像情報のみで一貫性があり正確なマルチタイムスパンDEMsを生成する可能性を評価すること。
• このような画像のみの処理から得られるDoDsが、すなわちサブメートルスケールでさえも、過去の3次元的変化を信頼性高く検出し定量できることを示すこと。
• データおよび技術的障壁を最小限に抑えることで、歴史的空中写真を地球科学的研究に広く利用可能にする。

提案手法

• Time-SIFT手法は、複数の日付のアーカイブ済み空中写真に対してSIFTに類似した特徴検出およびマッチングを適用し、構造からモーション（SfM）再構成のための結束点を確立する。
• 4つの異なる日付をカバーする1つの画像ブロック内で自己キャリブレーションを実施し、カメラキャリブレーション証明書に依存せずに内向きおよび外向きの姿勢を推定する。
• SIFT特徴の不変性特性を活用して、時間経過にわたる一貫性のある特徴追跡を実現し、マルチタイムスパンアライメントにおける耐障害性を向上させる。
• SfM処理によりマルチタイムスパンDEMsを生成し、その後差分処理を施して変化検出のための差分デジタルエレベーションモデル（DoDs）を生成する。
• 特徴検出のしきい値や結束点密度といった主要パラメータへの感受性を評価するために、さまざまな設定で処理パイプラインを体系的にテストする。
• 画像コンテンツと自動特徴マッチングにのみ依存することで、人的介入と写真測地学的熟練度を最小限に抑えた自動処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 地上コントロールポイントやキャリブレーションデータを一切使用せず、画像情報のみでアーカイブ済み空中写真から3次元的変化を信頼性高く検出できるか？
• RQ2 Time-SIFT手法の性能は、地上コントロールポイントやキャリブレーションデータに依存する古典的写真測地学的手法と比べてどうか？
• RQ3 Time-SIFT手法を用いたマルチタイムスパンDEMsの正確性と一貫性に最も顕著に影響を与える処理選択肢は何か？
• RQ4 外部地理空間リファレンスが存在しない状況でも、Time-SIFT手法は複雑に変化する景観において、小さなスケールの3次元的変化（例：±3メートル未満）をどの程度検出できるか？
• RQ5 数十年にわたる数千枚の画像をカバーする大規模な空間的・時間的範囲において、最小限のユーザー入力でTime-SIFT手法をスケーラブルに適用できるか？

主な発見

• Time-SIFT手法は、地上コントロールポイントやキャリブレーション証明書を一切必要とせず、画像データのみを用いて一貫性のあるマルチタイムスパンDEMsを正常に生成した。
• Time-SIFTで生成されたDoDsは、時間経過に伴い土地被覆やテクスチャが著しく変化する地域においても、3次元的変化を明確に検出し、定量した。
• 本手法はサブメートルスケールの変化検出においても高い耐障害性を示し、先行研究で得られた外部LiDARデータと高精度なコアリグレーションを用いた結果と同等の精度を達成した。
• 広範なテストの結果、複数のタイムスパンの結束点を用いた1つの画像ブロック内での自己キャリブレーションが、姿勢の一貫性とDEMsの品質を顕著に向上させたことが判明した。
• 本手法により、大規模な画像アーカイブの自動的かつ低熟練度の処理が可能となり、世界規模の歴史的空中写真コレクションの体系的分析への道筋が開かれた。
• 特に古くからアナログ時代の画像においては、キャリブレーションデータが欠落している状況やGCPの利用が制限される状況でも、古典的手法を上回る性能を示した。