[논문 리뷰] Floods Detection in Twitter Text and Images

Naina Said, Kashif Ahmad외 3명|arXiv (Cornell University)|2020. 11. 30.

Flood Risk Assessment and Management참고 문헌 8인용 수 4

한 줄 요약

이 논문은 텍스트 및 시각적 특징을 융합하여 이탈리아어 트위터 데이터에서 홍수 관련 사건을 감지하기 위한 다중모odal 접근법을 제시한다. BERT, Bag-of-Words, 및 사전 훈련된 CNN(DenseNet, VGG, ResNet)을 사용하여 특징을 추출하고, 후기 융합을 통해 점수를 융합하며, 개발 세트에서 F1 점수 0.80을 달성하여 단모달 방법에 비해 다중모달 융합의 우수성을 입증한다.

ABSTRACT

In this paper, we present our methods for the MediaEval 2020 Flood Related Multimedia task, which aims to analyze and combine textual and visual content from social media for the detection of real-world flooding events. The task mainly focuses on identifying floods related tweets relevant to a specific area. We propose several schemes to address the challenge. For text-based flood events detection, we use three different methods, relying on Bog of Words (BOW) and an Italian Version of Bert individually and in combination, achieving an F1-score of 0.77%, 0.68%, and 0.70% on the development set, respectively. For the visual analysis, we rely on features extracted via multiple state-of-the-art deep models pre-trained on ImageNet. The extracted features are then used to train multiple individual classifiers whose scores are then combined in a late fusion manner achieving an F1-score of 0.75%. For our mandatory multi-modal run, we combine the classification scores obtained with the best textual and visual schemes in a late fusion manner. Overall, better results are obtained with the multimodal scheme achieving an F1-score of 0.80% on the development set.

연구 동기 및 목표

• 이탈리아어 트위터 데이터의 실재 홍수 사건을 텍스트 및 시각 콘텐츠를 모두 활용하여 감지하기 위한 다중모달 시스템을 개발하는 것.
• 홍수 감지에서 단모달 접근법(텍스트 전용 및 이미지 전용)과 다중모달 융합의 효과성을 평가하는 것.
• SMOTE를 사용하여 텍스트 및 시각 데이터 양측의 클래스 불균형 문제를 해결하는 것.
• 이탈리아어 텍스트 표현에서 전통적인 BoW와 딥러닝 기반 BERT의 성능을 비교하는 것.
• 다양한 모델의 점수를 융합하는 후기 융합 전략을 탐색하여 분류 성능을 향상시키는 것.

제안 방법

• 텍스트 특징은 Bag-of-Words(BoW)와 최적화된 이탈리아어 BERT를 사용하여 추출되며, 각각 Naive Bayes 및 로지스틱 회귀 분류기로 훈련된다.
• 시각적 특징은 ImageNet에서 사전 훈련된 세 개의 CNN(DenseNet, VGG-19, ResNet)을 사용하여 추출되며, 이 특징들에 기반해 SVM 분류기가 훈련된다.
• 클래스 불균형 문제는 SMOTE를 통해 완화되며, 소수 클래스(홍수 발생)가 3배로 증가하여 데이터셋이 균형을 이룬다.
• 후기 융합은 개별 모델의 사후 확률을 평균하여 융합하며, 다중모달 실행에서 모든 모델에 동일한 가중치를 부여한다.
• 최종 다중모달 시스템은 후기 융합을 통해 가장 우수한 성능을 보인 텍스트 및 이미지 모델을 융합하여 감지 정확도를 향상시킨다.
• 모든 모델은 특정 이탈리아 지역의 홍수 관련성에 초점을 맞춘 이탈리아 트윗과 관련된 이미지가 포함된 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 이탈리아어 트위터에서 텍스트 및 시각적 특징의 조합이 단모달 접근법에 비해 홍수 감지 성능을 향상시킬 수 있는가?
• RQ2 전통적인 BoW에 비해 이탈리아어 BERT 모델이 이탈리아어 홍수 관련 트윗 분류에 얼마나 효과적인가?
• RQ3 다양한 딥러닝 기반 시각적 특징 모델의 후기 융합이 개별 모델보다 홍수 감지 성능을 높일 수 있는가?
• RQ4 클래스 불균형이 모델 성능에 미치는 영향은 어느 정도이며, SMOTE는 텍스트 및 이미지 분류 모두에서 이 문제를 효과적으로 완화할 수 있는가?
• RQ5 모든 모델에 동일한 가중치를 부여한 다중모달 후기 융합은 최고의 단모달 기반 모델에 비해 F1 점수를 일관되게 향상시키는가?

주요 결과

• 다중모달 후기 융합 접근법이 개발 세트에서 가장 높은 F1 점수 0.80을 기록하여 모든 단모달 방법을 능가했다.
• 텍스트 모델 중 BoW 기반 모델이 가장 뛰어난 개별 성능을 보였으며, 개발 세트에서 F1 점수 0.77를 기록했다.
• 시각적 특징 전용 모델은 개발 세트에서 F1 점수 0.75를 기록하여 딥 컨볼루션 네트워크 특징의 뛀난 성능을 보였다.
• BoW와 BERT를 후기 융합에 함께 사용한 결과, BoW 단독 사용보다 약간 낮은 F1 점수(0.70)를 기록하여 이 경우 BERT가 성능 향상에 기여하지 못했다는 것을 시사했다.
• 모든 런에서 테스트 세트 성능은 크게 낮았으며, 다중모달 런은 오직 0.093의 F1 점수를 기록하여 데이터 분포의 변화 또는 테스트 세트의 난이도가 높다는 것을 시사했다.
• 모든 팀의 평균 F1 점수는 20% 미만이었으며, 이는 이 테스트 세트에서 홍수 감지 작업의 높은 복잡성을 반영한다.