[논문 리뷰] Convolutional Neural Processes for Inpainting Satellite Images

Alexander Pondaven, Märt Bakler외 4명|arXiv (Cornell University)|2022. 05. 24.

Medical Image Segmentation Techniques인용 수 5

한 줄 요약

이 논문은 LANDSAT 7 위성 이미지의 스캔라인 오류로 인한 누락 데이터를 보완하기 위해 컨volutional 뉴럴 프로세스(ConfNPs)를 사용하는 것을 제안한다. 각 이미지를 별도의 메타러닝 작업으로 간주함으로써 ConvNPs는 시공간적 구조를 활용하여 기존의 방법들과 딥러닝 기반 방법들을 능가하며, 최소한의 훈련 데이터로도 분포 내 및 분포 외 이미지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The widespread availability of satellite images has allowed researchers to model complex systems such as disease dynamics. However, many satellite images have missing values due to measurement defects, which render them unusable without data imputation. For example, the scanline corrector for the LANDSAT 7 satellite broke down in 2003, resulting in a loss of around 20\% of its data. Inpainting involves predicting what is missing based on the known pixels and is an old problem in image processing, classically based on PDEs or interpolation methods, but recent deep learning approaches have shown promise. However, many of these methods do not explicitly take into account the inherent spatiotemporal structure of satellite images. In this work, we cast satellite image inpainting as a natural meta-learning problem, and propose using convolutional neural processes (ConvNPs) where we frame each satellite image as its own task or 2D regression problem. We show ConvNPs can outperform classical methods and state-of-the-art deep learning inpainting models on a scanline inpainting problem for LANDSAT 7 satellite images, assessed on a variety of in and out-of-distribution images.

연구 동기 및 목표

• 기계적 고장(예: LANDSAT 7의 스캔라인 컨트롤러 고장)으로 인한 위성 이미지의 누락 데이터 문제를 해결하기 위해.
• 위성 영상에 내재된 시공간적 구조를 명시적으로 모델링하여 이미지 보완 성능을 향상시키기 위해.
• 모든 지구 지역에 걸쳐 대규모 훈련이 필요 없이 소수의 훈련 데이터로도 글로벌 보완 솔루션을 개발하기 위해.
• 훈련 데이터 외부의 이미지에 대해서도 일반화 성능을 평가하여 훈련 데이터를 초월한 일반화 능력을 입증하기 위해.

제안 방법

• 각 위성 이미지를 개별적인 2차원 회귀 작업으로 간주하여, 위성 이미지 보완을 메타러닝 문제로 재정의한다.
• 예측 분포를 누락 픽셀에 대해 모델링하기 위해 컨볼루션 뉴럴 프로세스(ConvNPs), 특히 ConvCNP 및 ConvLNP 변종을 사용한다.
• 이미지의 선명도와 인지적 품질을 향상시키기 위해 다중 척도 구조적 유사도(MS-SSIM) 손실 함수를 적용한다.
• 실제 손상 상황을 시뮬레이션하기 위해 합성 스캔라인 결함이 포함된 800장의 위성 이미지(128×128 또는 64×64)로 구성된 소규모 데이터셋을 훈련에 사용한다.
• 복잡한 데이터 분포를 모델링하고 예측 불확실성 및 정확도를 향상시키기 위해 ConvLNP의 잠재 변수를 활용한다.
• 패치 기반 추론을 통해 1024×1024 크기의 큰 이미지에 대해 훈련된 모델을 적용함으로써 확장 가능한 글로벌 응용이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 훈련 중에 볼 수 없었던 분포 외 위성 이미지에 대해 ConvNPs가 효과적으로 일반화될 수 있는가? 이는 소수의 시공간 위치에서 훈련된 글로벌 보완 솔루션을 가능하게 하는가?
• RQ2 ConvNPs는 스캔라인 손상이 발생한 LANDSAT 7 이미지에서 기존의 방법들과 딥러닝 기반 보완 방법들과 비교해 어떤 성능을 보이는가?
• RQ3 기존의 딥러닝 모델들과 비교했을 때, ConvNPs는 시공간적 구조를 얼마나 효과적으로 활용하여 보완 품질을 향상시키는가?
• RQ4 소수의 훈련 이미지로만도 ConvNPs가 높은 품질의 보완을 달성할 수 있는가? 이는 소수의 예제 학습 능력을 입증하는가?
• RQ5 청소된 이미지 대신 보완된 이미지를 사용할 경우, ConvNPs는 후속 회귀 작업에서 얼마나 잘 성능을 내는가?

주요 결과

• ConvLNP는 후속 합성 회귀 작업에서 청소된 이미지에서 얻은 결과와 밀도적으로 유사한 성능을 기록했다.
• ConvLNP는 분포 내 및 분포 외 위성 이미지 양쪽에서 U-Net 및 Partial Conv를 포함한 모든 다른 모델보다 뛰어난 성능을 보였다.
• ConvNPs는 강력한 제로샷 일반화 능력을 보였으며, 시공간적 위치의 소수의 부분 집합에서만 훈련된 글로벌 보완기능을 가능하게 했다.
• 모델들은 스캔라인 보완 작업에서 최신 기술 수준의 결과를 달성했으며, 나비에르-스톡스와 같은 전통적 방법과 현대적인 딥러닝 기반 기준 모델들을 모두 능가했다.
• 흐릿한 출력에도 불구하고 Partial Conv는 ConvCNP보다 약간 낮은 MAPE를 기록하여, 인지적 품질과 정량적 오차 사이의 상충 관계를 보여주었다.
• 64×64 보완 작업에서는 모델의 성능이 안정적이었지만, 현재 훈련 설정 하에서는 128×128 예측에서 불안정성이 나타났다.