[논문 리뷰] Detecting Changes Between Optical Images of Different Spatial and Spectral Resolutions: a Fusion-Based Approach

Vinicius Ferraris, Nicolas Dobigeon외 2명|Open Archive Toulouse Archive Ouverte (University of Toulouse)|2016. 09. 20.

Remote-Sensing Image Classification참고 문헌 26인용 수 4

한 줄 요약

이 논문은 공간 해상도와 스펙트럼 해상도가 다를 수 있는 광학 영상 간의 비지도 변화 감지를 위한 새로운 융합 기반 프레임워크를 제안한다. 예를 들어 펄스채널/다중스펙트럼 또는 초스펙트럼 영상 간의 변화 감지를 대상으로 한다. 저해상도 공간 영상과 저해상도 스펙트럼 영상을 융합하여 고해상도 가짜 영상을 생성하고, 각 입력 영상의 해상도에 맞는 예측 영상을 생성한 후, 해상도가 일치하는 쌍에 대해 변화 감지를 적용함으로써 기존 방법에 비해 뛰어난 정확도를 달성한다. 실제 데이터 실험에서 AUC는 최대 0.991에 도달한다.

ABSTRACT

Change detection is one of the most challenging issues when analyzing remotely sensed images. Comparing several multi-date images acquired through the same kind of sensor is the most common scenario. Conversely, designing robust, flexible and scalable algorithms for change detection becomes even more challenging when the images have been acquired by two different kinds of sensors. This situation arises in case of emergency under critical constraints. This paper presents, to the best of authors' knowledge, the first strategy to deal with optical images characterized by dissimilar spatial and spectral resolutions. Typical considered scenarios include change detection between panchromatic or multispectral and hyperspectral images. The proposed strategy consists of a 3-step procedure: i) inferring a high spatial and spectral resolution image by fusion of the two observed images characterized one by a low spatial resolution and the other by a low spectral resolution, ii) predicting two images with respectively the same spatial and spectral resolutions as the observed images by degradation of the fused one and iii) implementing a decision rule to each pair of observed and predicted images characterized by the same spatial and spectral resolutions to identify changes. The performance of the proposed framework is evaluated on real images with simulated realistic changes.

연구 동기 및 목표

• 다른 센서 유형에 의해 촬영된 공간 해상도와 스펙트럼 해상도가 일치하지 않는 광학 영상에 대해 강력하고 유연하며 확장 가능한 변화 감지 방법의 부족을 해결한다.
• 동일한 센서 특성을 가정하거나 최적화되지 않은 리샘플링 및 보간 기법에 의존하는 기존 방법의 한계를 극복한다.
• 다양한 이미지 쌍만 이용 가능한 비상 상황에 적용 가능한 통합 프레임워크를 개발한다.
• 저공간 해상도 및 저스펙트럼 해상도 영상 간의 상호보완적 정보를 활용하여 정확한 변화 감지를 가능하게 한다.
• 라벨이 부여된 변화 데이터나 변화 위치에 대한 사전 지식이 필요 없는 물리적으로 타당한 비지도 접근 방식을 제공한다.

제안 방법

• 물리 기반 영상 융합 모델을 사용하여, 저해상도 공간 영상(예: 초스펙트럼)과 저해상도 스펙트럼 영상(예: 펄스채널)을 융합하여 고해상도 고스펙트럼 가짜 영상을 생성한다.
• 융합된 가짜 영상에서, 고공간 해상도 입력의 해상도를 맞추는 영상과 고스펙트럼 해상도 입력의 해상도를 맞추는 영상을 각각 복원 모델을 사용해 예측한다.
• 관측 영상과 예측 영상 간의 해상도가 일치하는 쌍에 대해 표준 변화 감지 기법(예: CVA, 공간 정규화 CVA)을 적용한다.
• 지역적 공간적 맥락을 통합함으로써 정확도를 향상시키기 위해 공간 정규화 변화 벡터 분석(sCVA)을 사용한다.
• 융합 단계를 스펙트럼 일관성과 공간 일관성을 유지하는 제약 조건이 있는 최적화 문제로 공식화한다.
• 실제 데이터 실험을 통해 시뮬레이션된 변화를 검증하고, AUC와 정규화된 거리를 성능 지표로 사용한다.

실험 결과

연구 질문

• RQ1 초스펙트럼 영상과 펄스채널 영상처럼 공간 해상도와 스펙트럼 해상도가 다른 광학 영상 간의 변화 감지를 수행할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 저공간 해상도 및 저스펙트럼 해상도 영상에 포함된 상호보완적 정보를 효과적으로 융합하여 변화 감지 정확도를 향상시킬 수 있는가?
• RQ3 제안된 융합 기반 예측 전략이 기존의 리샘플링 및 보간 기법에 비해 변화 감지에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 변화 감지 단계에서 공간 정규화를 통합할 경우 이질적인 영상 쌍에서 정밀도를 높이고 잡음(가짜 경고)을 줄이는 데 유의미한 영향을 미치는가?
• RQ5 제안된 3단계 절차(융합, 예측, 감지)는 광학 위성 영상 외의 다른 영상 모odal리티로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 HR-MS 시나리오에서 AUC 0.991192, HR-PAN 시나리오에서 AUC 0.991545를 기록하여 최악의 경우 기준 방법(각각 AUC 0.937878 및 0.971988)보다 뚜렷이 뛰어난 성능을 보였다.
• 프레임워크가 생성한 고해상도 변화 감지 지ap($\hat{\mathbf{D}}_{\mathrm{HR}}$)는 높은 탐지율과 정밀도를 보였으며, 정규화된 거리 0.959296을 기록하여 높은 정확도를 입증했다.
• CVA 방법에 공간 정규화를 적용한 sCVA는 성능을 추가로 향상시켰으며, HR-PAN 시나리오에서 AUC는 0.989493, 정규화된 거리는 0.958996을 기록했다.
• 모든 영상을 동일한 해상도로 리샘플링하는 표준 방법은 성능 저하를 야기했으며, 특히 스펙트럼 해상도 저하가 심한 상황에서 뚜렷한 성능 저하가 발생했다.
• 그림 6과 그림 7의 시각적 결과는 추정된 고해상도 CD 지도가 저해상도 지도보다 더 선명하고 정확하며, 가짜 경고가 적고 작은 변화의 국소화가 뛰어나다는 것을 확인했다.
• 이 방법은 변화 크기가 1×1에서 61×61 픽셀에 이르는 다양한 크기의 변화에 대해 안정적으로 높은 탐지 정밀도를 유지하는 것으로 나타났다.