[논문 리뷰] Water level prediction from social media images with a multi-task ranking approach

Priyanka Chaudhary, Stefano D’Aronco외 3명|arXiv (Cornell University)|2020. 07. 14.

Flood Risk Assessment and Management참고 문헌 38인용 수 4

한 줄 요약

이 논문은 회귀와 쌍별 순위 매기기 손실을 조합한 다중 작업 딥러닝 접근법을 제안하여, 비용이 많이 드는 픽셀 정밀도의 애너테이션을 크게 줄이고 소셜 미디어 이미지에서 수위를 예측한다. 짝지어진 이미지 간의 상대적 수위 순위 정보를 활용함으로써, 8,145장의 이미지로 구성된 새로운 데이터셋에서 약 11cm의 루트 평균 제곱 오차를 달성하며, 최소한의 레이블링 노력으로 거의 실시간 홍수 맵핑을 가능하게 한다.

ABSTRACT

Floods are among the most frequent and catastrophic natural disasters and affect millions of people worldwide. It is important to create accurate flood maps to plan (offline) and conduct (real-time) flood mitigation and flood rescue operations. Arguably, images collected from social media can provide useful information for that task, which would otherwise be unavailable. We introduce a computer vision system that estimates water depth from social media images taken during flooding events, in order to build flood maps in (near) real-time. We propose a multi-task (deep) learning approach, where a model is trained using both a regression and a pairwise ranking loss. Our approach is motivated by the observation that a main bottleneck for image-based flood level estimation is training data: it is diffcult and requires a lot of effort to annotate uncontrolled images with the correct water depth. We demonstrate how to effciently learn a predictor from a small set of annotated water levels and a larger set of weaker annotations that only indicate in which of two images the water level is higher, and are much easier to obtain. Moreover, we provide a new dataset, named DeepFlood, with 8145 annotated ground-level images, and show that the proposed multi-task approach can predict the water level from a single, crowd-sourced image with ~11 cm root mean square error.

연구 동기 및 목표

• 딥러닝의 활용을 저해하는 홍수 이미지에서 수위 추정을 위한 애너테이션된 학습 데이터의 부족 문제를 해결한다.
• 더 비용이 많이 드는 픽셀 정밀도의 인스턴스 세그멘테이션 애너테이션에 의존하는 것을 줄이고, 더 약한 그러나 더 확장 가능한 지도 신호를 사용한다.
• 커뮤니티에서 제공하는 소셜 미디어 이미지를 활용하여 최소한의 인간 레이블링 노력으로 거의 실시간 홍수 맵핑을 가능하게 한다.
• 절대 깊이 회귀보다 쌍별 이미지 순위 매기기(어느 이미지가 더 높은 수위를 가졌는지)가 더 효율적이고 확장 가능한 지도 신호임을 입증한다.
• 이미지 기반 홍수 수위 추정 연구를 지원하기 위해 새로운 벤치마크 데이터셋인 DeepFlood를 개발한다.

제안 방법

• 절대 수위 깊이 회귀와 두 이미지 중 어느 것이 더 높은 수위를 가지는지의 순서를 예측하는 쌍별 순위 매기기의 두 가지 작업을 동시에 최적화하는 다중 작업 학습 프레임워크를 사용해 딥 네ural 네트워크를 훈련한다.
• 이미지 쌍을 처리하고 상대적 수위 순서를 예측하기 위해 시아미즈 유사 아키텍처를 사용하며, 올바른 순서를 유지하기 위해 대비 손실 함수를 적용한다.
• 회귀 손실(MSE)과 순위 매기기 손실(대비 손실)을 하나의 목적 함수로 통합하여 모델을 동시에 훈련한다.
• 절대 깊이 값이 알려진 소규모 강력 레이블링 이미지와 함께 상대적 수위 순위만 알려진 대규모 약한 레이블링 이미지 쌍을 활용한다.
• 일반화 성능을 향상시키기 위해 데이터 증강 및 전이 학습 기법을 사용하여 희귀하거나 복잡한 홍수 상황에서도 잘 작동하도록 한다.
• 모델 성능을 안정적으로 평가하기 위해 여러 폴드에 걸쳐 교차 검증 전략을 구현한다.

실험 결과

연구 질문

• RQ1 쌍별 이미지 순위 매기기가 소셜 미디어 이미지에서 수위 회귀를 향상시키는 데 효과적인 약한 지도 신호로 활용될 수 있는가?
• RQ2 절대 회귀에 비해 순위 지도 신호를 포함했을 때 성능과 레이블링 효율성 측면에서 어떤 차이가 있는가?
• RQ3 절대 애너테이션 수가 적고 상대적 애너테이션 수가 많을 때, 모델이 예상치 못한 홍수 상황으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 순위 지도 신호로 사용되는 이미지 쌍의 수가 모델 성능에 미치는 영향은 어떠한가?
• RQ5 기존의 인스턴스 세그멘테이션 기반 접근법에 비해 약간의 애너테이션 비용으로도 경쟁 가능한 정확도를 달성할 수 있는가?

주요 결과

• 제안된 다중 작업 모델(Reg+Rank)은 테스트 세트에서 루트 평균 제곱 오차가 11.3cm로, 단순 회귀 기반 베이스라인과 이전 연구에서 제안한 분류 기반 방법보다 뛰어난 성능을 보였다.
• 100만 개의 이미지 쌍만으로도 순위 지도 신호를 사용할 경우, 단순 회귀 기반 베이스라인에 비해 오차가 상당히 감소하여, 약한 지도 학습의 효과성을 입증했다.
• 다양한 홍수 상황, 특히 사람을 태운 보트나 극단적인 수위 상황과 같은 도전적인 케이스에서도 모델이 잘 일반화되며, 이전 방법보다 뛰어난 성능을 보였다.
• 제거 분석 결과, 더 많은 이미지 쌍을 사용할수록 성능 향상 폭이 서서히 줄어들어, 100만 개의 쌍조차도 강력한 정규화 효과를 제공하며, 쌍의 중복성이 향후 성능 향상의 한계를 정의함을 시사했다.
• 레이블링 노력이 크게 줄어들었으며, 픽셀 정밀도의 세그멘테이션보다 상대적 수위 순위를 애너테이션하는 것이 훨씬 빠르고 쉬워, 커뮤니티 기반의 스케일러블한 데이터 수집이 가능해졌다.
• 8,145장의 지상 진실 애너테이션 이미지로 구성된 새로운 DeepFlood 데이터셋은 향후 이미지 기반 홍수 수위 추정 연구에 있어 귀중한 벤치마크 자원이 되었다.