[논문 리뷰] Change Detection between Multimodal Remote Sensing Data Using Siamese CNN

Zhenchao Zhang, George Vosselman외 3명|arXiv (Cornell University)|2018. 07. 25.

Remote Sensing and LiDAR Applications인용 수 33

한 줄 요약

이 논문은 3D 항공 레이저 스캐닝 데이터와 2D 항공 영상 간의 건물 및 나무 변화를 감지하기 위해 시아모이즈 컨volution 네트워크(S-CNN) 프레임워크를 제안한다. 이 방법은 두 데이터 유형을 모두 2D 회색조 이미지 패치로 변환하고, 학습된 특징 유사도를 기반으로 쌍의 패치를 변화 있음 또는 변화 없음으로 분류하기 위해 최적화된 S-CNN를 사용하며, 객체 수준에서 결과를 군집화하고 검증한다. 이 방법은 도시 테스트 데이터에서 패치 수준 정확도 86.4%를 달성하였다.

ABSTRACT

Detecting topographic changes in the urban environment has always been an important task for urban planning and monitoring. In practice, remote sensing data are often available in different modalities and at different time epochs. Change detection between multimodal data can be very challenging since the data show different characteristics. Given 3D laser scanning point clouds and 2D imagery from different epochs, this paper presents a framework to detect building and tree changes. First, the 2D and 3D data are transformed to image patches, respectively. A Siamese CNN is then employed to detect candidate changes between the two epochs. Finally, the candidate patch-based changes are grouped and verified as individual object changes. Experiments on the urban data show that 86.4\\% of patch pairs can be correctly classified by the model.

연구 동기 및 목표

• 3D 레이저 스캐닝과 2D 항공 영상 간의 다중 모odal 원격 감시 데이터를 활용해 도시 환경에서의 지형 변화를 감지하는 과제를 해결한다.
• 노이즈, 가림, 잘못된 정렬, 데이터 누락 등의 모odal 간 고유한 데이터 불일치로 인해 발생하는 잘못된 변화 감지 문제를 해결한다.
• 실제 구조적 변화(예: 신축 건물, 나무 제거)를 데이터 수집 방식의 차이로 발생하는 잡음과 구분할 수 있는 종단간 학습 프레임워크를 개발한다.
• 이미지 및 레이저 스캐닝 데이터 아카이브를 유지 관리하는 국립 지도 기관이 사용할 수 있는 강력하고 자동화되며 확장 가능한 변화 감지 기능을 제공한다.
• 시아모이즈 CNN를 통해 복잡한 비선형적 차이를 모델링하는 딥 특징 학습을 활용해 정확도를 향상시킨다.

제안 방법

• 사진측량 기법을 사용해 3D 레이저 스캐닝 포인트 클라우드와 2D 항공 영상을 2.5D 디지털 표면 모델(DSM)로 변환한다.
• 비선형 높이-강도 변환 함수를 사용해 생성된 DSM을 회색조 이미지 패치로 변환하여 높이 변화의 세부 정보를 유지한다.
• 동일한 두 개의 하위 네트워크를 갖춘 시아모이즈 CNN 아키텍처를 활용하여 서로 다른 시점의 이미지 패치 쌍을 처리하고, 그들의 특징 표현을 비교하는 것을 학습한다.
• 시아모이즈 브랜치의 최종 특징 벡터 간의 L2 거리(유클리드 거리)를 유사도 점수로 사용하여 패치 쌍을 변화 있음 또는 변화 없음으로 분류한다.
• 오차가 발생할 수 있는 데이터 아티팩트(예: 잘못된 정렬, 고밀도 매칭 오류 등)로 인한 가짜 양성 결과를 줄이기 위해 S-CNN에 피니어 투닝 전략을 적용한다.
• 검출된 패치 수준의 변화를 일관된 객체 수준의 변화로 군집화하고, 원본 오р토이미지와 시각적 점검을 통해 결과를 검증하여 가짜 양성 결과를 감소시킨다.

실험 결과

연구 질문

• RQ1 3D 레이저 스캐닝 데이터와 2D 항공 영상 간의 강한 모달 차이에도 불구하고, 시아모이즈 CNN가 의미 있는 변화를 효과적으로 감지할 수 있는가?
• RQ2 S-CNN 모델이 실제 구조적 변화(예: 신축 건물, 나무 식재/제거)를 데이터 특유의 아티팩트로 인한 가짜 변화와 얼마나 잘 구분할 수 있는가?
• RQ3 제안된 프레임워크는 다중 모달 원격 감시 데이터에서 잘못된 정렬, 노이즈 또는 가림으로 인한 가짜 양성 결과를 얼마나 효과적으로 줄일 수 있는가?
• RQ4 패치 기반 감지 결과를 신뢰성 있게 객체 수준의 변화 보고서로 군집화하고 검증할 수 있는가?
• RQ5 피니어 투닝을 적용한 시아모이즈 아키텍처는 수작업 특징 설계나 직접 DSM 차분을 기반으로 하는 전통적 변화 감지 방법보다 성능이 뛰어나지 않는가?

주요 결과

• 시아모이즈 CNN는 패치 수준 변화 감지에서 테스트 정확도 86.4%를 달성했으며, 정밀도 79.9%와 재현도 80.6%를 기록했다.
• 모델은 실제로 발생한 변화, 예를 들어 신축 건물, 철거된 건물, 나무 식재 또는 제거를 성공적으로 식별했다.
• 가짜 양성 결과의 주요 원인은 자동차 이동과 고밀도 매칭 오류였으며, 특히 텍스처가 낮거나 그림자가 드리우는 영역에서 두드러졌다.
• 작은 규모의 나무 변화 감지를 놓친 오missions 오류는 모델의 감도 한계나 패치 쌍 간의 저대비로 인해 발생했다.
• 최종 객체 수준의 검증 단계가 가짜 감지 결과를 크게 감소시켰으며, 특히 흩어진 가지 구조로 인해 고밀도 매칭 결과에서 사라진 나무에 대해 유의미하게 개선했다.
• 수작업 특징 설계와 종단간 융합을 피하면서도 높은 효율성과 함께 기존 방법보다 우수한 성능을 보였다.