[논문 리뷰] Event Detection and Retrieval on Social Media

Manos Schinas, Symeon Papadopoulos외 2명|arXiv (Cornell University)|2018. 07. 10.

Web Data Mining and Analysis참고 문헌 54인용 수 4

한 줄 요약

이 논문은 소셜 미디어에서 이벤트 탐지 및 검색 방법에 대한 종합적인 서베이를 제시하며, 멀티모달 스트림에서 실제 세계의 이벤트를 식별하기 위해 특징 기반, 문서 기반, 주제 모델링 접근법을 중심으로 다룹니다. 다중모달 특징 표현, 의미적 유사도, 군집화, 콘텐츠 순위 매기기 등의 핵심 구성 요소를 강조하고, 공개 평가 데이터셋 부족 및 플랫폼 간 일관성 부족과 같은 핵심 과제를 밝혀냅니다.

ABSTRACT

In the recent years, we have witnessed the rapid adoption of social media platforms, such as Twitter, Facebook and YouTube, and their use as part of the everyday life of billions of people worldwide. Given the habit of people to use these platforms to share thoughts, daily activities and experiences it is not surprising that the amount of user generated content has reached unprecedented levels, with a substantial part of that content being related to real-world events, i.e. actions or occurrences taking place at a certain time and location. Given the key role of events in our life, the task of annotating and organizing social media content around them is of crucial importance for ensuring real-time and future access to multimedia content about an event of interest. In this chapter, we present several research efforts from recent years that tackle two main problems: a) event detection and b) event-based media retrieval and summarization. Given archived collections or live streams of social media items, the purpose of event detection methods is to identify previously unknown events in the form of sets of items that describe them. In general, the events could be of any type, but there are also approaches aiming at events of specific type. Given a target event the goal of event summarization is first to identify relevant content and then to represent it in a concise way, selecting the most appealing and representative content.

연구 동기 및 목표

• 트위터, 플리커, 유튜브와 같은 플랫폼의 대규모이고 노이즈가 많은 소셜 미디어 콘텐츠에서 실제 세계의 이벤트를 탐지하는 데 도전하는 데 목적을 두며.
• 특정 이벤트와 관련된 멀티미디어 콘텐츠(이미지, 영상, 텍스트)를 실시간 또는 아카이브에서 조직하고 검색하는 데 목적을 두며.
• 다중모달 데이터와 일관성 없는 메타데이터를 처리할 수 있는 강력한 이벤트 탐지 및 요약 방법을 개발하는 데 목적을 두며.
• 효과적인 시스템 설계를 위해 특징 표현, 유사도 계산, 군집화, 콘텐츠 순위 매기기 등의 핵심 방법론적 구성 요소를 식별하는 데 목적을 두며.
• 공개 평가 데이터셋의 부족성과 비교 연구를 위한 교차 플랫폼, 지속 가능한 벤치마크의 필요성을 강조하는 데 목적을 두며.

제안 방법

• 시각적 또는 텍스처적 특징(예: 단어, 태그)의 비정상적인 빈도 급증을 탐지하는 특징 기반 방법을 사용하여 발생 중인 이벤트를 식별합니다.
• 유사도 측정 기준(예: 코사인, 재커르)을 사용한 문서 기반 군집화를 통해 관련 멀티미디어 항목을 이벤트 군집으로 그룹화합니다.
• LDA와 같은 주제 모델링 기법을 적용하여 소셜 미디어 스트림의 텍스트 및 메타데이터에서 잠재된 이벤트 주제를 탐지합니다.
• Bag-of-Words, Bag-of-Visual-Words, 딥 러닝 특징(예: CNN 임베딩)과 같은 멀티모달 특징을 통합하여 표현력을 향상시킵니다.
• k-means, DBSCAN, 스펙트럴 군집화와 같은 군집 알고리즘을 사용하여 항목을 이벤트 전용 그룹에 할당하며, 노이즈 처리를 위한 선택적 군집화 옵션을 제공합니다.
• 유사도, 다양성, 품질을 우선순위로 하는 콘텐츠 순위 매기기 모델을 활용하여 효과적인 이벤트 요약을 수행하며, 개인화 및 신뢰성 평가 기능을 통합할 수 있습니다.

실험 결과

연구 질문

• RQ1 대규모이고 노이즈가 많은 소셜 미디어 스트림에서 멀티모달 데이터를 사용하여 실제 세계의 이벤트를 자동으로 탐지할 수 있는 방법은 무엇인가요?
• RQ2 멀티미디어 항목을 일관된 이벤트 군집으로 그룹화하는 데 가장 효과적인 특징 표현 및 유사도 측정 방법은 무엇인가요?
• RQ3 다양한 군집 전략(예: 분할 군집화 대비 선택적 군집화)은 이벤트 탐지 성능에 어떤 영향을 미치나요?
• RQ4 의미적 및 학습된 유사도 모델은 이벤트 탐지 및 검색 정확도 향상에 어떤 역할을 하나요?
• RQ5 이벤트 탐지 및 검색 시스템 평가의 주요 과제는 무엇이며, 어떻게 공개적이고 지속적이며 교차 플랫폼 기반의 데이터셋을 개발할 수 있을까요?

주요 결과

• 특징 기반 방법은 해시태그나 시각적 단어와 같은 특징 빈도의 비정상적 급증을 탐지하여 갑작스러운 실제 세계의 사건을 식별합니다.
• 코사인 또는 재커르 유사도를 사용한 문서 기반 군집화는 이름 추출 및 태그가 강화된 경우에 특히 관련 콘텐츠를 효과적으로 그룹화합니다.
• LDA와 같은 주제 모델링 접근법은 텍스트 기반 플랫폼(예: 트위터)에서 잠재된 이벤트 주제를 탐지하여 탐지 성능을 향상시킵니다.
• 딥 러닝 특징(예: CNN 임베딩)은 시각 콘텐츠 표현에서 점점 더 중요한 역할을 하며, 많은 경우 기존의 BoVW를 능가합니다.
• 공개적이고 지속적이며 교차 플랫폼 기반의 평가 데이터셋 부족은 여전히 주요 장애물이며, 상당한 수작업이 수반되고 콘텐츠 부패 문제를 야기합니다.
• 사용자 관련성 측면에서 중요시되는 개인화, 신뢰성 평가, 미적 품질에 대한 연구 부족이 두드러지며, 이는 여전히 중요한 과제로 남아 있습니다.