[논문 리뷰] Social Media Images Classification Models for Real-time Disaster Response.

Firoj Alam, Md Tanvirul Alam외 2명|arXiv (Cornell University)|2021. 04. 09.

Public Relations and Crisis Communication인용 수 7

한 줄 요약

이 연구는 재해 대응에서 실시간 소셜 미디어 이미지 분류를 위한 10종의 사전 훈련된 딥 러닝 아키텍처를 평가한다. 주요 초점은 위기 탐지, 피해 심각도, 인도적 카테고리 분류이다. 대규모 공개 데이터셋과 데이터 증강, 다중 작업 학습 기법을 사용하여 저자들은 뛰어난 성능을 달성하였으며, 확장 가능한 실시간 위기 인포매틱스 응용을 위한 전이 학습의 타당성을 입증한다.

ABSTRACT

Images shared on social media help crisis managers in terms of gaining situational awareness and assessing incurred damages, among other response tasks. As the volume and velocity of such content are really high, therefore, real-time image classification became an urgent need in order to take a faster response. Recent advances in computer vision and deep neural networks have enabled the development of models for real-time image classification for a number of tasks, including detecting crisis incidents, filtering irrelevant images, classifying images into specific humanitarian categories, and assessing the severity of the damage. For developing real-time robust models, it is necessary to understand the capability of the publicly available pretrained models for these tasks. In the current state-of-art of crisis informatics, it is under-explored. In this study, we address such limitations. We investigate ten different architectures for four different tasks using the largest publicly available datasets for these tasks. We also explore the data augmentation, semi-supervised techniques, and a multitask setup. In our extensive experiments, we achieve promising results.

연구 동기 및 목표

• 실시간 재해 이미지 분류를 위한 사전 훈련된 모델에 대한 경험적 평가 부족 문제를 해결하기 위해.
• 10종의 딥 러닝 아키텍처가 네 가지 별도의 재해 관련 이미지 분류 과제에서 어떻게 성능을 내는지 평가하기 위해.
• 데이터 증강, 준지도 학습, 다중 작업 훈련이 모델의 강건성과 정확도에 미치는 영향을 조사하기 위해.
• 위기 이미지 분류를 위한 가장 큰 공개 데이터셋을 사용한 종합적인 벤치마크 제공을 위해.

제안 방법

• ImageNet에서 사전 훈련된 10종의 최신 딥 네트워크 아키텍처(예: ResNet, DenseNet, EfficientNet)를 활용해 하류 재해 이미지 분류 과제를 평가한다.
• 모델 일반화 및 데이터 부족 상황에서의 강건성 향상을 위해 데이터 증강 기법을 적용한다.
• 불완전한 레이블이 있는 소셜 미디어 이미지를 활용해 성능 향상을 위한 준지도 학습 전략을 탐색한다.
• 여러 재해 관련 분류 목표를 동시에 최적화하기 위해 다중 작업 학습 설정을 구현한다.
• 손상 심도 및 인도적 카테고리 레이블링을 포함한, 위기 이미지 분류를 위한 가장 큰 공개 데이터셋을 사용해 훈련 및 평가를 수행한다.
• 일반 목적 모델을 도메인 특화 재해 대응 과제에 적응시키기 위해 전이 학습을 활용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 러닝 모델은 재해 대응에서 실시간 소셜 미디어 이미지 분류 과제에서 얼마나 잘 성능을 내는가?
• RQ2 데이터 부족 상황에서 데이터 증강이 저자원 재해 이미지 분류 시나리오의 모델 성능에 어떤 영향을 미치는가?
• RQ3 레이블이 제한된 상황에서 준지도 학습 기법이 분류 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 다중 작업 학습이 여러 재해 관련 이미지 분류 과제 간 일반화 능력을 향상시키는 데 기여하는가?

주요 결과

• 재해 특화 데이터셋으로 미세조정된 사전 훈련된 모델은 네 가지 분류 과제 전반에서 뛰어난 성능을 보이며, 전이 학습의 효과를 입증한다.
• 데이터 증강은 특히 레이블이 제한된 훈련 데이터 상황에서 모델의 강건성을 크게 향상시킨다.
• 준지도 학습 기법은 레이블이 부족한 경우에 특히 분류 정확도 향상에 측정 가능한 기여를 한다.
• 다중 작업 학습 설정은 모델의 일반화 능력을 향상시켜 단일 작업 기반 베이스라인 대비 모든 개별 과제에서 더 나은 성능을 이끌어낸다.
• 평가된 아키텍처 중에서 EfficientNet과 DenseNet 변종이 여러 과제 및 데이터 설정에서 뛰어난 성능을 보였다.
• 이 연구는 실시간 재해 이미지 분류를 위한 종합적인 벤치마크를 수립하였으며, 가장 효과적인 모델과 훈련 전략을 부각시켰다.