[논문 리뷰] Localizing and Quantifying Damage in Social Media Images

Xukun Li, Huaiyu Zhang외 2명|arXiv (Cornell University)|2018. 06. 09.

Public Relations and Crisis Communication인용 수 16

한 줄 요약

이 논문은 사전 훈련된 VGG19 네트워크에 기울기 가중치 클래스 활성화 맵(Grad-CAM)을 적용하여 소셜 미디어 재해 이미지에서 손상 영역을 국소화하고 연속적인 손상 평가 값(DAV)을 통해 심각도를 정량화하는 새로운 방법을 제안한다. 이 방법은 해석 가능한 히트맵과 점수를 생성하여 공개된 시민 보고 이미지를 활용해 저비용으로 고해상도 재해 후 손상 평가를 가능하게 한다.

ABSTRACT

Traditional post-disaster assessment of damage heavily relies on expensive GIS data, especially remote sensing image data. In recent years, social media has become a rich source of disaster information that may be useful in assessing damage at a lower cost. Such information includes text (e.g., tweets) or images posted by eyewitnesses of a disaster. Most of the existing research explores the use of text in identifying situational awareness information useful for disaster response teams. The use of social media images to assess disaster damage is limited. In this paper, we propose a novel approach, based on convolutional neural networks and class activation maps, to locate damage in a disaster image and to quantify the degree of the damage. Our proposed approach enables the use of social network images for post-disaster damage assessment and provides an inexpensive and feasible alternative to the more expensive GIS approach.

연구 동기 및 목표

• 소셜 미디어 재해 이미지에서 효과적인 손상 국소화와 연속적인 심각도 정량화의 부족을 해결한다.
• 기존 방법이 손상에 대한 이산적 객체 탐지나 하드 레이블 분류에 의존하는 한계를 극복한다.
• 비싼 원격 감시 데이터 대신 쉽게 확보할 수 있는 소셜 미디어 이미지를 활용해 저비용으로 실시간 재해 후 손상 평가를 가능하게 한다.
• 주의 히트맵을 통한 시각적 설명을 제공함으로써 자동 손상 평가에 대한 신뢰를 향상시킨다.
• 구조적 지원을 위한 연속적인 손상 심각도 지표(DAV)를 개발한다.

제안 방법

• 이미지를 '손상됨' 또는 '손상되지 않음'으로 이진 분류하기 위해 사전 훈련된 VGG19 컨볼루션 신경망(CNN)을 미세조정한다.
• 훈련된 CNN의 마지막 컨볼루션 레이어에 기울기 가중치 클래스 활성화 맵(Grad-CAM)을 적용하여 손상 탐지 맵(DDM) 히트맵을 생성한다.
• DDM 히트맵을 사용해 손상 예측에 기여도가 가장 높은 영역을 식별함으로써 국소화된 시각적 주의를 제공한다.
• DDM 히트맵의 값 평균을 계산하여 연속적인 심각도 점수인 손상 평가 값(DAV)을 산출한다.
• 크로스 밸리데이션을 사용하여 네팔 지진, 에쿠atorial 지진, 루비 태풍, 매슈 허리케인 등의 다양한 재해 데이터셋에서 모델을 훈련하고 평가한다.
• DAV 점수를 지표 손상 심각도와 비교하고, 이진 및 다중 분류 작업 모두에서 정확도와 F1 점수 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 높은 해석 가능성으로 소셜 미디어 이미지에서 손상을 효과적으로 국소화하기 위해 Grad-CAM을 적절히 적용할 수 있는가?
• RQ2 주의 히트맵에서 유의미하게 유연한 손상 심각도 점수(DAV)를 유도할 수 있는가? 이는 이산적 카테고리 초월하여 손상을 정량화할 수 있는가?
• RQ3 실제 재해 이미지 데이터셋에서 제안된 DAV 및 DDM 프레임워크의 성능은 기존 방법과 비교해 어떻게 되는가?
• RQ4 해석 가능성 기법을 적용한 소셜 미디어 이미지를 사용할 경우, 기존의 GIS 및 원격 감시 데이터에 비해 실현 가능하고 저비용 대안이 될 수 있는가?
• RQ5 다양한 재해 유형과 이미지 품질 조건에서 DAV 점수는 얼마나 견고한가?

주요 결과

• 제안된 DAV 점수는 네팔 지진 데이터셋에서 평균 정확도 0.801 ± 0.013, 에쿠atorial 지진에서 0.886 ± 0.018, 루비 태풍에서 0.793 ± 0.017, 매슈 허리케인에서 0.533 ± 0.043를 기록했다.
• 이전 연구에서 보고된 VGG16 모델에 비해 VGG19 기반 모델이 특히 네팔 및 에쿠atorial 지진 데이터셋에서 더 높은 정확도와 낮은 분산을 보이며 우수한 성능을 보였다.
• DAV 점수는 지표 손상 심각도와 강한 상관관계를 보였으며, 이는 이진 또는 3단계 분류를 초월한 연속적인 손상 정량화를 가능하게 했다.
• DDM 히트맵은 높은 공간 정밀도로 손상 영역을 성공적으로 국소화했으며, 모델 예측에 대한 신뢰를 높이는 시각적 해석 가능성 제공에 기여했다.
• 작은 데이터셋인 매슈 허리케인 데이터셋에서도 안정적인 성능을 기록했지만, 훈련 데이터가 제한되어 있어 정확도는 낮았다.
• Grad-CAM과 미세조정된 VGG19 모델의 통합은 국소화 및 연속적인 심각도 점수 산출을 동시에 가능하게 하여 재해 대응을 위한 새로운 해석 가능하고 확장 가능한 솔루션을 제공했다.