[논문 리뷰] Deep Learning based Multi-Label Image Classification of Protest Activities

Yingzhou Lu, Kosaku Sato외 1명|arXiv (Cornell University)|2023. 01. 10.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 논문은 라틴 아메리카의 소셜 미디어 이미지에서 시위 관련 시각적 특징—대규모 인파, 경찰, 현수막, 화재 등—을 탐지하기 위한 딥러닝 기반 다중 레이블 이미지 분류 프레임워크를 제안한다. 수동으로 주석 처리한 GSR 데이터셋의 일부에 대해 미세조정된 CNN을 적용한 모델은 일곱 개의 레이블 평균 F1 스코어 71%를 기록했으며, 훈련 효율성과 재현율에서 SVM을 능가했지만, 클래스 불균형과 다중 레이블 복잡성으로 인해 정확한 레이블 일치 정확도는 낮게 유지되어 약 20%에 머물렀다.

ABSTRACT

With the rise of internet technology amidst increasing rates of urbanization, sharing information has never been easier thanks to globally-adopted platforms for digital communication. The resulting output of massive amounts of user-generated data can be used to enhance our understanding of significant societal issues particularly for urbanizing areas. In order to better analyze protest behavior, we enhanced the GSR dataset and manually labeled all the images. We used deep learning techniques to analyze social media data to detect social unrest through image classification, which performed good in predict multi-attributes, then also used map visualization to display protest behaviors across the country.

연구 동기 및 목표

• 텍스트 기반 소셜 미디어 분석을 넘어서 시각적 특징을 활용해 시위 활동 탐지를 향상시키기 위해.
• 기존의 NLP 기반 방법이 대규모 인파, 경찰 존재, 시위 참가자 인구통계학적 특성 등의 핵심 시각적 세부 정보를 놓치는 데서 비롯되는 한계를 해결하기 위해.
• 동시에 여러 시위 관련 특징을 식별할 수 있는 강력한 다중 레이블 이미지 분류 시스템을 개발하기 위해.
• 사용자 생성 콘텐츠의 자동화된 언어에 구애받지 않는 이미지 분석을 통해 사회적 불안정 상황 인식 능력을 향상시키기 위해.
• 딥러닝과 임계값 최적화를 통해 클래스 불균형과 모호한 시각적 특징 문제를 해결하기 위해.

제안 방법

• GSR(Gold Standard Report) 데이터셋에서 9,504장의 이미지를 수동으로 주석 처리하여 다중 레이블 데이터셋을 구축하였으며, 화재, 깃발, 대규모 인파, 경찰, 현수막, 학생, '기타' 등의 시위 관련 특징을 중심으로 하였다.
• 전이 학습을 사용한 딥 컨volution 신경망(CNN)을 적용하였으며, 학습된 확률 임계값을 사용해 다중 레이블 출력을 예측하기 위해 완전 연결층을 사용하였다.
• 모델의 확률을 이진 레이블로 변환하기 위해 매트릭스 상관관계 계수(MCC)를 사용해 각 클래스의 예측 임계값을 최적화하였다.
• 일대다 전략을 사용한 전통적인 SVM 분류기와의 성능 비교를 위해 정밀도, 재현율, F1 스코어, 훈련 효율성으로 평가하였다.
• 이미지 예측 기반으로 라틴 아메리카 지역 전역에서 탐지된 시위 행동을 공간적으로 표현하기 위해 지ap 시각화를 사용하였다.
• 데이터 불균형과 과적합 위험을 줄이기 위해 미니배치 훈련과 향후 GAN 기반 데이터 증강 기법의 활용을 탐색하였다.

실험 결과

연구 질문

• RQ1 특징이 동시에 존재하거나 모호한 경우에도 딥러닝 모델이 소셜 미디어 이미지에서 다수의 시위 관련 시각적 특징을 효과적으로 탐지할 수 있는가?
• RQ2 CNN 기반 다중 레이블 분류 모델은 시위 이미지 데이터에서 정확도, 재현율, 훈련 효율성 측면에서 기존의 SVM과 비교해 어떻게 성능을 내는가?
• RQ3 데이터셋의 클래스 불균형이 다중 레이블 이미지 분류 모델의 성능에 어느 정도 영향을 미치는가?
• RQ4 언어에 구애받지 않는 이미지 분석은 텍스트 중심 모니터링 시스템에 비해 사회적 불안정 조기 탐지에 어떻게 기여할 수 있는가?
• RQ5 현재의 이미지 기반 시위 탐지 모델의 주요 한계는 무엇이며, 데이터 증강 또는 다중 모odal 융합을 통해 이를 어떻게 보완할 수 있는가?

주요 결과

• CNN 모델은 모든 일곱 개의 레이블 평균 F1 스코어 71%를 기록했으며, 재현율(73% 대 61%)과 훈련 속도에서 SVM을 능가했다.
• 화재에 대해 정밀도 76%, 대규모 인파에 대해 74%, 현수막에 대해 51%를 기록하여 고시야적 특징에 대해 강력한 성능을 보였다.
• 강력한 개별 클래스 성능에도 불구하고, 정확한 레이블 일치 정확도는 약 20%에 머물러 있어 클래스 불균형 하에서의 다중 레이블 예측 과제를 드러냈다.
• CNN은 SVM 대비 훨씬 적은 메모리와 훈련 시간(반절 미만)을 소비했으며, SVM은 가용 메모리의 70~90%를 사용하고 12시간 이상 소요되었다.
• MCC를 활용한 임계값 최적화로 예측 신뢰성이 향상되었으며, 최적의 임계값은 화재의 경우 0.2에서 대규모 인파의 경우 0.7 사이에서 변동했다.
• 예측된 시위 사건의 시각화 결과는 알려진 불안정 핫스팟과 일치하는 공간 패턴을 보였으며, 모델의 실생활 상황 인식 잠재력이 검증되었다.