[논문 리뷰] Development of drought early warning system for the Alps

Clement Wang, Antoine Debouchage외 3명|arXiv (Cornell University)|2023. 01. 01.

Leaf Properties and Growth Measurement인용 수 3

한 줄 요약

이 논문은 확산 기반 생성 모델을 활용해 지구 관측의 세 가지 응용 분야를 제안한다: 구름 제거, 합성 변화 탐지 데이터셋 생성, 텍스트 조건부 이미지 인painting을 통한 도시 재계획. 이는 센티넬-2 및 OSCD 데이터셋에서 훈련된 노이즈 제거 확산 모델—특히 RePaint 및 연결 기반 인painting 변종—을 활용하여, 구름 제거 시 SSIM 0.691 및 PSNR 24.593 dB를 달성했으며, 도시 계획 응용 분야에서 현실적이고 제어 가능한 이미지 합성을 입증하였다.

ABSTRACT

<p>Increase in total amount of waste produced at global level has serious ecosystem implications, from health risks for individuals to environmental damage. This increase is directly correlated with the urban development in the past decades, increase in consumption of goods and services or in large industrial activities. In EMERITUS project, we aim to support waste management activities with the help of Earth Observation (EO) driven products derived from Sentinel 2 using deep learning segmentation approaches. To achieve a segmentation model that can properly identify waste dumps, where training datasets are missing, manual labelling and various models testing was implied. Using tools such as Optuna, a more straightforward approach is used for hyperparameters search. It is observed that the proposed model identifies waste dumps locations in different Sentinel 2 tiles, with main false positives in areas with very high spectral mixing (e.g. parking lots).</p>

연구 동기 및 목표

• 위성 영상 처리의 핵심 과제를 해결함으로써 확산 모델의 지구 관측 응용 가능성을 입증하기 위해.
• 구름에 의해 가림을 받은 영상의 한계를 확산 기반 인painting 접근법을 통해 극복하기 위해.
• 감독형 원격 감시 작업에서의 데이터 부족 문제를 완화하기 위해 현실적인 합성 변화 탐지 데이터셋을 생성하기 위해.
• 텍스트 조건부 인painting을 통한 사진처럼 사실적인 이미지 변형을 생성함으로써 상호작용형 도시 재계획을 가능하게 하기 위해.
• 실제 데이터셋을 사용해 다양한 지구 관측 응용 분야에서 확산 모델의 실현 가능성과 성능을 검증하기 위해.

제안 방법

• 8,000장의 센티넬-2 RGB 영상(64×64 해상도)을 250 에포크 동안 배치 크기 128로 훈련한 4층 U-Net 기반의 확산 모델을 사용해 RePaint 인painting을 통해 구름 제거를 수행하였다.
• 노이즈 제거 확산 과정을 적용하여, 학습된 노이즈 예측기 ϵθ를 사용해 노이즈가 첨가된 잠재 표현에서 점차 노이즈를 제거하였으며, 역방향 과정은 µθ 및 σt로 정의되었다.
• 각 역방향 단계에서 생성된 샘플과 마스크된 입력 영상을 혼합하는 수정된 RePaint 변종을 사용하였으며, 무조건적 확산 모델을 재사용하였다.
• 연결 기반 인painting 방법을 적용하여, 모델 입력에 재구성된 이미지, 알려진 이미지 및 마스크를 포함시켜 조건부 생성을 가능하게 하였다.
• LAION-5B에서 프리트레인된 StableDiffusion 기반 모델을 도시 재계획을 위한 텍스트 조건부 이미지 편집을 위해 미세조정하였으며, 마스크 영역과 사용자 제공 프롬프트를 사용하였다.
• OSCD 데이터셋의 패치(50% 겹침)에 대해 훈련된 확산 인painting을 사용해 원래의 변화 영역를 모델이 생성한 콘텐츠로 대체함으로써 합성 변화 탐지 쌍을 생성하였다.

실험 결과

연구 질문

• RQ1 확산 모델은 높은 시각적 품질로 위성 영상의 구름에 의해 가림을 받은 영역을 효과적으로 재구성할 수 있는가?
• RQ2 확산 모델은 합성 변화 탐지 데이터셋을 위해 현실적이고 다양한, 구조적으로 일관된 변화 영역을 얼마나 잘 생성할 수 있는가?
• RQ3 텍스트 조건부 확산 인painting은 고해상도 항공 영상에서 직관적이고 현실적인 도시 재계획 시각화를 가능하게 하는가?
• RQ4 지구 관측 작업에 있어 다른 확산 기반 인painting 변종(RePaint 대비 연결 기반)의 성능과 적용 가능성은 어떻게 비교되는가?
• RQ5 지속적인 지구 관측 데이터에 대해 미세조정된 오프더셰프 확산 모델은 타당한 도시 설계 대안을 생성할 수 있는가?

주요 결과

• 제안된 구름 제거 방법은 센티넬-2 클라우드 마스크 카탈로그에서 구조적 유사도 지수(SSIM) 0.691 및 피크 신호 대 노이즈 비율(PSNR) 24.593 dB를 달성하였다.
• 모델은 실제 구름에 의해 가려진 영역을 시각적으로 타당한 질감과 공간 일관성을 유지하며 성공적으로 재구성하였으며, 정성적 샘플을 통해 이를 입증하였다.
• 공개된 DOI 10.5281/zenodo.8144237를 통해 합성 변화 탐지 데이터셋이 생성되어 감독형 변화 탐지 파이프라인의 향상에 기여하였다.
• 확산 과정의 변동성과 원본 마스크의 사용 덕분에 생성된 변화 영역는 주변 환경과 구조적으로 일관성을 유지하였다.
• StableDiffusion를 사용한 텍스트 조건부 인painting은 주차장 대신 보행자 전용 구역이나 수영장으로의 전환과 같은 현실적인 도시 재계획 시각화를 생성하였으며, 실제 영역와 생성된 영역 간의 부드러운 전환을 보였다.
• 오프더셰프 모델을 도시 재계획에 활용한 결과 실용적 타당성이 입증되었지만, 과제에 특화된 미세조정을 통해 성능을 더욱 향상시킬 수 있었다.