[논문 리뷰] The Time-SIFT method : detecting 3-D changes from archival photogrammetric analysis with almost exclusively image information

Denis Feurer, Fabrice Vinatier|arXiv (Cornell University)|2018. 07. 25.

3D Surveying and Cultural Heritage참고 문헌 29인용 수 4

한 줄 요약

이 논문은 기록된 항공 사진에서 3차원 변화를 감지하기 위한 새로운 방법인 Time-SIFT를 소개한다. 이 방법은 거의 전적으로 영상 기반 정보를 사용하며, 구조에서 운동(SfM) 파이프라인에서 SIFT 유사 특징의 불변성 특성을 활용함으로써, 지상 제어점(GCP)이나 校정 데이터가 없이도 자동으로 다중 시점 디지털 고도 모델(DEMs) 및 고도 모델의 차분(DoDs)을 생성할 수 있다. 이로 인해 지상 제어점이나 校정 데이터 없이도 정확한 3차원 변화 감지가 가능해진다.

ABSTRACT

Archival aerial imagery is a source of worldwide very high resolution data for documenting paste 3-D changes. However, external information is required so that accurate 3-D models can be computed from archival aerial imagery. In this research, we propose and test a new method, termed Time-SIFT (Scale Invariant Feature Transform), which allows for computing coherent multi-temporal Digital Elevation Models (DEMs) with almost exclusively image information. This method is based on the invariance properties of the SIFT-like methods which are at the root of the Structure from Motion (SfM) algorithms. On a test site of 170 km2, we applied SfM algorithms to a unique image block with all the images of four different dates covering forty years. We compared this method to more classical methods based on the use of affordable additional data such as ground control points collected in recent orthophotos. We did extensive tests to determine which processing choices were most impacting on the final result. With these tests, we aimed at evaluating the potential of the proposed Time-SIFT method for the detection and mapping of 3-D changes. Our study showed that the Time-SIFT method was the prime criteria that allowed for computing informative DEMs of difference with almost exclusively image information and limited photogrammetric expertise and human intervention. Due to the fact that the proposed Time-SIFT method can be automatically applied with exclusively image information, our results pave the way to a systematic processing of the archival aerial imagery on very large spatio-temporal windows, and should hence greatly help the unlocking of archival aerial imagery for the documenting of past 3-D changes.

연구 동기 및 목표

• 기록된 항공측량에서 校정 데이터나 지상 제어점(GCP)의 접근성 부족 문제를 해결하기 위해.
• 측량 전문 지식이 필요 없이 대규모 역사적 항공 영상 아카이브를 체계적으로 처리하여 3차원 변화 감지를 가능하게 하기 위해.
• 새로운 SIFT 기반 접근법을 통해 오직 영상 정보만을 사용하여 일관되고 정확한 다중 시점 DEMs를 생성할 수 있는지 평가하기 위해.
• 오직 영상만으로 처리된 DoDs가 하위미터 수준에서도 과거의 3차원 변화를 신뢰성 있게 감지하고 정량화할 수 있는지 입증하기 위해.
• 데이터 및 기술적 장벽을 최소화하여 지구과학 연구를 위한 역사적 항공 영상에 더 넓은 접근성을 제공하기 위해.

제안 방법

• Time-SIFT 방법은 기록된 항공 영상의 여러 일자에 걸쳐 SIFT 유사 특징 검출 및 매칭을 적용하여 구조에서 운동(SfM) 복원을 위한 연결점(tie points)을 설정한다.
• 한 개의 영상 블록 내에서 네 가지 다른 일자에 걸친 자동 캘리브레이션을 통해 카메라 내부 및 외부 방향을 추정하며, 카메라 캘리브레이션 증명서에 의존하지 않는다.
• 이 방법은 SIFT 특징의 불변성 특성을 활용하여 시간에 걸쳐 일관된 특징 추적을 보장함으로써 다중 시점 정렬의 강건성을 향상시킨다.
• SfM 처리를 통해 다중 시점 DEMs를 생성한 후, 차분을 계산하여 변화 감지를 위한 DoDs를 생성한다.
• 특징 검출 임계값 및 연결점 밀도와 같은 핵심 매개변수에 대한 민감도를 평가하기 위해 다양한 설정에서 처리 파이프라인을 체계적으로 테스트한다.
• 이 방법은 오직 영상 콘텐츠와 자동 특징 매칭에 의존함으로써 인간의 간섭과 측량 전문 지식을 최소화한다.

실험 결과

연구 질문

• RQ1 지상 제어점이나 校정 데이터가 없이 오직 영상 정보만을 사용하여 기록된 항공 영상에서 3차원 변화를 신뢰성 있게 감지할 수 있는가?
• RQ2 지상 제어점 또는 校정 데이터에 의존하는 전통적인 측량 방법과 비교할 때 Time-SIFT 방법의 성능은 어떠한가?
• RQ3 Time-SIFT 방법을 통해 생성된 다중 시점 DEMs의 정확성과 일관성에 가장 큰 영향을 미치는 처리 선택은 무엇인가?
• RQ4 외부 지리공간 기반 자료 없이도 Time-SIFT 방법이 복잡하고 변화가 많은 지형에서 소규모 3차원 변화(예: ±3미터 이내)를 어느 정도 감지할 수 있는가?
• RQ5 수천 장의 영상이 수십 년에 걸쳐 포함된 대규모 시공간 창에서 최소한의 사용자 입력으로도 이 방법을 확장 적용할 수 있는가?

주요 결과

• Time-SIFT 방법은 지상 제어점이나 캘리브레이션 증명서 없이도 오직 영상 데이터만을 사용하여 일관된 다중 시점 DEMs를 성공적으로 생성하였다.
• Time-SIFT로 생성된 DoDs는 시간이 지남에 따라 심한 지표 식생 및 텍스처 변화가 있었던 지역에서도 3차원 변화를 명확히 감지하고 정량화하였다.
• 이 방법은 외부 레이저 레인지 센서(LiDAR) 데이터와 정밀 공액화를 사용한 이전 연구에서 확보된 결과와 유사한 수준의 하위미터 규모 변화 감지 능력을 보였다.
• 광범위한 테스트 결과, 다중 시점 연결점을 사용하여 단일 영상 블록 내에서 자동 캘리브레이션을 수행함으로써 방향 일致성과 DEM 품질이 크게 향상됨을 입증하였다.
• 이 방법은 대규모 영상 아카이브의 자동화된 저전문성 처리를 가능하게 하여 세계적 수준의 역사적 항공 영상 컬렉션에 대한 체계적 분석의 길을 열었다.
• 특히 오래된 아날로그 시대 영상에 대해 캘리브레이션 데이터가 누락되거나 지상 제어점이 부족한 상황에서 전통적 방법보다 뛰어난 성능을 보였으며, 이는 오래된 아날로그 영상에 특히 효과적임을 입증하였다.