[논문 리뷰] Automatic Image Filtering on Social Networks Using Deep Learning and Perceptual Hashing During Crises

Dat Tien Nguyen, Firoj Alam외 2명|arXiv (Cornell University)|2017. 04. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 1인용 수 59

한 줄 요약

논문은 전이 학습 CNN을 이용한 관련성 필터링과 지각 해싱을 활용한 중복 제거를 갖춘 실시간 이미지 필터링 파이프라인을 제시한다.

ABSTRACT

The extensive use of social media platforms, especially during disasters, creates unique opportunities for humanitarian organizations to gain situational awareness and launch relief operations accordingly. In addition to the textual content, people post overwhelming amounts of imagery data on social networks within minutes of a disaster hit. Studies point to the importance of this online imagery content for emergency response. Despite recent advances in the computer vision field, automatic processing of the crisis-related social media imagery data remains a challenging task. It is because a majority of which consists of redundant and irrelevant content. In this paper, we present an image processing pipeline that comprises de-duplication and relevancy filtering mechanisms to collect and filter social media image content in real-time during a crisis event. Results obtained from extensive experiments on real-world crisis datasets demonstrate the significance of the proposed pipeline for optimal utilization of both human and machine computing resources.

연구 동기 및 목표

• 잡음이 많은 소셜 미디어 이미지 데이터를 정화하고 무관한 콘텐츠를 제거한다.
• 중복 및 거의 중복 이미지를 제거하여 데이터 중복을 줄인다.
• 필터링이 주석 예산과 머신러닝의 강건성을 향상시킨다는 것을 보여준다.
• 최신 딥러닝 모델을 위기 데이터의 관련성 및 손상 분류 작업에 적응시킨다.
• 위기 발생 시 소셜 미디어 이미지를 분석하는 실시간 파이프라인을 개발한다.

제안 방법

• Tweet Collector와 Image Collector를 포함한 자동 이미지 필터링 파이프라인을 구축한다.
• 손상 평가 관련성에 대해 이진 관련성/비관련성 작업으로 미리 학습된 VGG-16 CNN을 미세 조정하여 관련성 필터링을 수행한다.
• 지각 해싱(pHash)을 적용하여 정확한 중복 및 거의 중복 이미지를 감지하고 100k 해시 창을 유지한다.
• 수동 검사로 1,100쌍의 이미지에서 해밍 거리 임계치(d)를 조정하여 중복 제거를 수행하고 d = 10으로 선택한다.
• 실세계 재난 데이터셋(Nepal Earthquake, Ecuador Earthquake, Typhoon Ruby, Hurricane Matthew)에 대해 관련성에 대해 60/20/20 학습/검증/테스트 분할과 손상 분류에 대해 5-fold 교차검증으로 영향 평가한다.
• 정확도, 정밀도, 재현율, F1, AUC로 평가한다.

실험 결과

연구 질문

• RQ1 관련성 필터링이 손상 평가에 유용한 정보를 담은 이미지를 무관한 이미지와 구분하는 정도는 얼마나 효과적인가?
• RQ2 지각 해싱을 이용한 중복 제거가 데이터 양과 다운스트림 손상 분류 모델의 품질에 어떤 영향을 미치는가?
• RQ3 위기 관련 이미지를 학습한 손상 평가 분류기의 정확도와 강건성에 이미지 필터링이 어떤 영향을 미치는가?
• RQ4 실시간 위기 상황에서 관련성 필터링과 중복 제거를 적용하여 어떤 데이터 감소를 달성하는가?

주요 결과

• 관련성 필터는 테스트 세트에서 AUC 0.98, 정밀도 0.99, 재현율 0.97, F1 0.98의 높은 판별 성능을 달성한다.
• 중복 제거는 심한 이미지 58%, 경미한 이미지 50%, 없음 이미지 30%를 제거하여 원시 수집에서 전체적으로 62%의 감소를 달성한다.
• 중복 이미지 및 무관한 이미지를 사용하면 예산 낭비가 증가하지만 중복 제거로 약 1,178개의 라벨링된 이미지를 절감했고 이는 예산의 약 20%에 해당한다.
• 손상 분류 작업에서 중복 제거(S2)는 신뢰성을 높이고 중복 누출로 인한 인위적 상승을 피하며, 중복 제거와 무관한 이미지 제거(S4)를 함께 하면 S2 대비 매크로 F1이 약 2% 향상된다.
• 세 클래스 손상 분류기(severe, mild, none)에서 여전히 mild가 클래스 불균형과 낮은 등장률로 인해 가장 어려운 경우이다.
• 실시간 파이프라인과 위기 이미지 분석을 위한 웹 접근 가능한 시스템이 시연된다.