[논문 리뷰] Flood Segmentation on Sentinel-1 SAR Imagery with Semi-Supervised Learning

Sayak Paul, Siddha Ganju|ArXiv.org|2021. 07. 18.

Flood Risk Assessment and Management인용 수 12

한 줄 요약

이 논문은 유저-넷 앙상블을 사용한 준지도 학습 편표링 프레임워크를 제안하여 센티넬-1 SAR 영상에서 Flooding 세그먼테이션 성능을 향상시킨다. 라벨이 없는 데이터로부터 반복적으로 고신뢰도 편표를 생성하고 필터링한 후, 수동으로 라벨링된 데이터와 결합하고, CRF 후처리를 적용함으로써, 기존 최고 성능인 0.7654의 IoU를 달성하여 기준값 0.60을 크게 뛰어넘었다.

ABSTRACT

Floods wreak havoc throughout the world, causing billions of dollars in damages, and uprooting communities, ecosystems and economies. The NASA Impact Flood Detection competition tasked participants with predicting flooded pixels after training with synthetic aperture radar (SAR) images in a supervised setting. We propose a semi-supervised learning pseudo-labeling scheme that derives confidence estimates from U-Net ensembles, progressively improving accuracy. Concretely, we use a cyclical approach involving multiple stages (1) training an ensemble model of multiple U-Net architectures with the provided high confidence hand-labeled data and, generated pseudo labels or low confidence labels on the entire unlabeled test dataset, and then, (2) filter out quality generated labels and, (3) combine the generated labels with the previously available high confidence hand-labeled dataset. This assimilated dataset is used for the next round of training ensemble models and the cyclical process is repeated until the performance improvement plateaus. We post process our results with Conditional Random Fields. Our approach sets a new state-of-the-art on the Sentinel-1 dataset with 0.7654 IoU, an impressive improvement over the 0.60 IoU baseline. Our method, which we release with all the code and models, can also be used as an open science benchmark for the Sentinel-1 dataset.

연구 동기 및 목표

• 대규모 라벨이 없는 SAR 영상 자원을 활용하여 원격 감지 분야에서 라벨이 부족한 홍수 데이터 문제를 해결한다.
• 비용이 많이 드는 수동 레이블링에 의존도를 줄이기 위해 준지도 학습을 활용해 센티넬-1 SAR 데이터에서 홍수 세그먼테이션 정확도를 향상시킨다.
• 불확실성 추정 및 후처리 기능을 갖춘 확장 가능한 실시간 추론 파이프라인을 개발하여 재해 대응에 대한 내구성을 확보한다.
• 오픈 과학 원칙을 기반으로 센티넬-1 데이터셋에 대한 홍수 세그먼테이션 분야의 새로운 최고 기준을 설정한다.

제안 방법

• 고신뢰도 수동 라벨링 데이터를 기반으로 유저-넷 아키텍처 앙상블을 훈련하고, 전체 라벨이 없는 테스트 세트에 대해 편표를 생성한다.
• 앙상블의 불일치를 통해 유도된 신뢰도 추정치를 기반으로 편표를 필터링하여 고품질 예측만 유지한다.
• 원래 라벨과 필터링된 편표를 포함한 데이터셋을 반복적으로 재훈련하여 순환적 개선 과정을 수행한다.
• 테스트 시 시간 증강(D4 대칭)과 조건부 랜덤 필드(CRF) 후처리를 적용하여 공간적 일관성을 향상시킨다.
• 혼합 정밀도 훈련과 네 개의 V100 GPU를 활용한 분산 데이터 병렬 처리를 통해 훈련 속도를 가속화한다.
• 레이 프레임워크를 활용해 병렬 CRF 추론을 구현하여 실시간 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 제한된 라벨 데이터에서 준지도 학습과 편표링을 활용할 경우 센티넬-1 SAR 영상에서 홍수 세그먼테이션 성능을 크게 향상시킬 수 있는가?
• RQ2 앙상블 기반 신뢰도 추정은 자원이 제한된 레이블링 환경에서 편표의 신뢰성을 어떻게 향상시키는가?
• RQ3 필터링된 편표를 활용한 반복적 개선 과정이 다양한 지리적 지역에 걸쳐 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 CRF 후처리와 테스트 시 시간 증강이 성능 향상과 공간 일관성 향상에 얼마나 기여하는가?
• RQ5 제안된 방법은 운영적 재해 대응에 있어 확장 가능하고 실시간으로 구동 가능한가?

주요 결과

• 제안된 준지도 학습 프레임워크는 센티넬-1 홍수 세그먼테이션 벤치마크에서 새로운 최고 성능인 0.7654의 교차율(Intersection over Union, IoU) 점수를 달성하였다.
• 기준 모델의 IoU 0.60에 비해 27% 이상 향상되어 편표링으로 인한 상당한 성능 향상이 입증되었다.
• 테스트 시 시간 증강(TTA)은 추론 분석에서 IoU 점수를 5% 향상시켜 0.52에서 0.57로 상승시켰다.
• CRF 후처리 적용으로 예측 품질이 향상되었으며, 특히 경계 영역 정제와 노이즈 감소에 효과적이었다.
• 추론 파이프라인은 실시간 배포를 최적화하였으며, 병렬 CRF 추론을 통해 저지연 처리를 구현하였다.
• 강력한 데이터 증강과 앙상블 기법 덕분에 농업 및 도시 지역을 포함한 다양한 지리적 환경에서도 일반화 능력을 입증하였다.