[논문 리뷰] Multi-Modal Machine Learning for Flood Detection in News, Social Media and Satellite Sequences

Kashif Ahmad, Konstantin Pogorelov외 5명|arXiv (Cornell University)|2019. 10. 07.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 4

한 줄 요약

이 논문은 MediaEval 2019 챌린지에서 뉴스, 소셜 미디어, 인공위성 영상 등 다양한 매체를 대상으로 홍수 탐지에 대한 다중모달 기계학습 프레임워크를 제시한다. 사전 훈련된 CNNs(AlexNet, VGG, ResNet)에서 유도된 깊이 특징과 색상, 장면 수준의 특징을 조기 융합 및 후기 융합 방식으로 융합하여, 뉴스 이미지 주제 동일성 분석에서 F1 스코어 82.63, 인공위성 기반 홍수 탐지에서 58.82를 기록하였다.

ABSTRACT

In this paper we present our methods for the MediaEval 2019 Mul-timedia Satellite Task, which is aiming to extract complementaryinformation associated with adverse events from Social Media andsatellites. For the first challenge, we propose a framework jointly uti-lizing colour, object and scene-level information to predict whetherthe topic of an article containing an image is a flood event or not.Visual features are combined using early and late fusion techniquesachieving an average F1-score of82.63,82.40,81.40and76.77. Forthe multi-modal flood level estimation, we rely on both visualand textual information achieving an average F1-score of58.48and46.03, respectively. Finally, for the flooding detection in time-based satellite image sequences we used a combination of classicalcomputer-vision and machine learning approaches achieving anaverage F1-score of58.82%

연구 동기 및 목표

• 뉴스 기사, 소셜 미디어 게시물, 인공위성 영상 시퀀스와 같은 다양한 데이터 소스를 활용하여 홍수 사건을 탐지하는 다중모달 시스템을 개발하는 것.
• 시각적 및 텍스트적 특징을 활용하여 뉴스 이미지의 홍수 관련 콘텐츠를 고정밀도로 분류하는 과제를 해결하는 것.
• 사람이 무릎 위로 물에 잠긴 상태인지 여부를 감지하여 소셜 미디어 이미지의 홍수 수위를 추정하는 것.
• 하이브리드 컴퓨터 비전 및 기계학습 접근법을 통해 시간 순서의 인공위성 영상에서 홍수 사건을 탐지하는 것.
• 인공위성 시퀀스에서 흐린 구름, 계절 변화, 영상 정렬 오류 등의 데이터 제한 요소를 극복하는 것.

제안 방법

• ImageNet 및 Places 데이터셋에서 사전 훈련된 CNNs(AlexNet, VGG, ResNet)를 사용하여 객체 및 장면 수준 이해를 위한 깊이 시각 특징을 추출하였다.
• 분류 성능 향상을 위해 조기 융합(특징 벡터의 연결)과 후기 융합(간단한 평균화 및 PSO 기반 가중 평균화)을 통합하여 특징을 융합하였다.
• LIRE 라이브러리를 활용하여 공동 복합 기술자(JCD)를 통해 색상 및 텍스처 특징을 융합하여 전역적 이미지 표현을 구현하였다.
• 홍수 수위 추정을 위해 이중 단계의 시각적 방법을 적용: 먼저 깊이 특징을 사용하여 홍수 대비 비홍수 이미지를 분류하고, 이후 OpenPose를 활용해 인간 신체 관절 키포인트를 감지하여 무릎 높이 대비 수위를 평가하였다.
• 텍스트 분석을 위해 봉투 모델(BoW)과 LSTM 모델을 모두 적용하여 기사의 홍수 관련 콘텐츠 기반 분류를 수행하였다.
• 인공위성 시퀀스를 위해 다단계 이미지 처리 파이프라인을 적용: 임계값 기반 구름 마스킹, 128×128 크기로의 이미지 크기 조정, HSV 색상 공간로 변환, S/V 채널 마스킹, 형태학적 필터링, 그리고 회색 수준 공존 행렬(GLCM)을 활용한 텍스처 분석 후 랜덤 포레스트 분류를 수행하였다.

실험 결과

연구 질문

• RQ1 색상, 객체, 장면 수준의 다중 스케일 시각 특징을 조기 및 후기 융합함으로써 뉴스 이미지에서 홍수 탐지 정확도를 향상시킬 수 있는가?
• RQ2 시각적 특징과 텍스트적 특징이 소셜 미디어 콘텐츠의 홍수 수위 추정에서 얼마나 잘 상호보완적인가?
• RQ3 형태학적 필터링과 텍스처 분석을 포함한 전통적 이미지 처리 파이프라인은 흐린 구름과 정렬 오류가 있는 인공위성 영상 시퀀스에서 홍수 탐지에 얼마나 효과적인가?
• RQ4 PSO 기반 후기 융합 전략이 다중모달 홍수 탐지에서 동일 가중치 융합 또는 조기 융합 전략보다 우수한가?
• RQ5 OpenPose를 통한 인간 신체 관절 키포인트 감지가 홍수 관련 이미지에서 사람이 무릎 위로 물에 잠긴 상태인지 신뢰성 있게 나타낼 수 있는가?

주요 결과

• PSO 기반 후기 융합 방법이 NITD 과제에서 F1 스코어 82.63을 기록하여 동일 가중치 융합(82.40)과 조기 융합(76.77)을 모두 초월하였다.
• JCD 기반 색상 특징 통합은 성능 향상에 기여하지 못하고 오히려 약간의 성능 저하를 초래하였으며, 색상 특징을 포함한 실행에서 F1 스코어가 81.40으로 하락하였다.
• 시각 기반 홍수 수위 추정은 BoW 및 LSTM 모델을 사용한 텍스트 접근법(46.03)에 비해 F1 스코어 58.48로 유의미하게 뛰어났다.
• 인공위성 기반 홍수 탐지 시스템은 CSS 과제에서 F1 스코어 58.82를 기록하여, 흐린 구름과 영상 정렬 오류 등의 과제에도 불구하고 효과적인 것으로 입증되었다.
• 계절적 식생 성장과 유사한 시각적 변화를 인식하는 데서 시스템이 홍수 유발 변화를 구분하지 못해 일반화 능력에 한계가 있음을 시사하였다.
• 재샘플링된 데이터셋을 활용한 앙상블 학습은 불균형 데이터에서 성능을 향상시켰으며, 특히 희귀 클래스(홍수 관련 이미지)에 대해 유의미한 개선을 이룩하였다.