[논문 리뷰] Applying Social Media Intelligence for Predicting and Identifying On-line Radicalization and Civil Unrest Oriented Threats

Swati Agarwal, Ashish Sureka|arXiv (Cornell University)|2015. 11. 21.

Hate Speech and Cyberbullying Detection참고 문헌 76인용 수 47

한 줄 요약

이 논문은 온라인 극단주의 및 시민 불안정 위협 탐지를 위한 소셜 미디어 지능에 관한 100편 이상의 연구를 종합적으로 검토하며, 자연어 처리(NLP), 머신러닝, 사회망 분석 기법을 분석한다. 트위터와 유튜브가 극단주의 및 시위 조직화의 주요 플랫폼으로 밝혀졌으며, 군집화, 로지스틱 회귀, 명명된 실체 인식(NER)이 핵심 기법으로 나타났고, 다국어 및 지역 특화 위협 탐지 분야에서의 중대한 연구 격차가 드러났다.

ABSTRACT

Research shows that various social media platforms on Internet such as Twitter, Tumblr (micro-blogging websites), Facebook (a popular social networking website), YouTube (largest video sharing and hosting website), Blogs and discussion forums are being misused by extremist groups for spreading their beliefs and ideologies, promoting radicalization, recruiting members and creating online virtual communities sharing a common agenda. Popular microblogging websites such as Twitter are being used as a real-time platform for information sharing and communication during planning and mobilization if civil unrest related events. Applying social media intelligence for predicting and identifying online radicalization and civil unrest oriented threats is an area that has attracted several researchers' attention over past 10 years. There are several algorithms, techniques and tools that have been proposed in existing literature to counter and combat cyber-extremism and predicting protest related events in much advance. In this paper, we conduct a literature review of all these existing techniques and do a comprehensive analysis to understand state-of-the-art, trends and research gaps. We present a one class classification approach to collect scholarly articles targeting the topics and subtopics of our research scope. We perform characterization, classification and an in-depth meta analysis meta-anlaysis of about 100 conference and journal papers to gain a better understanding of existing literature.

연구 동기 및 목표

• 온라인 극단주의 및 시민 불안정 위협 탐지를 위한 소셜 미디어 지능 분야의 최신 기술 동향을 분석하기 위해.
• 기존 연구에서 극단주의 및 시위 예측에 사용된 주요 기법, 플랫폼, 특징을 규명하기 위해.
• 다국어 콘텐츠 분석, 지역 특화성, 평가 방법론 분야에서의 주요 연구 격차를 밝혀내기 위해.
• 머신러닝 및 NLP 기법이 극단주의 콘텐츠 탐지 및 불안정 사건 예측에 얼마나 효과적인지 평가하기 위해.
• 미래의 지능 및 보안 인포매틱스 분야 연구를 안내하기 위해 100편 이상의 학술 논문을 메타 분석하기 위해.

제안 방법

• 온라인 극단주의 및 시민 불안정 탐지에 초점을 맞춘 학술 논문을 수집하고 필터링하기 위해 일종 분류 기반 접근법을 시행하였다.
• ISI 및 SI 출판원에서 발표된 100편의 컫퍼런스 및 저널 논문에 대해 특성 분석, 분류, 메타 분석을 수행하였다.
• 군집화, 로지스틱 회귀, 동적 쿼리 확장, 명명된 실체 인식(NER) 등 핵심 기법을 식별하고 분류하였다.
• 시공간 메타데이터, 맥락 기반 메타데이터, 사용자 프로필 특징(예: 활동 피드, 인구통계 데이터)이 위협 탐지에 어떻게 활용되는지 분석하였다.
• 그래프 모델링 및 사회망 분석(SNA)이 숨겨진 극단주의 공동체를 식별하는 데 어떤 역할을 하는지 평가하였다.
• 정밀도, F1-스코어, 공동체 탐지 성능 등 평가 방법론을 다양한 연구 간 비교 분석하였다.

실험 결과

연구 질문

• RQ1 소셜 미디어에서 온라인 극단주의 및 시민 불안정을 탐지하기 위해 가장 흔히 사용되는 기법과 플랫폼는 무엇인가?
• RQ2 머신러닝 및 NLP 기법은 극단주의 콘텐츠 식별 및 시위 사건 예측에 얼마나 효과적인가?
• RQ3 시공간, 언어적, 네트워크 기반 등의 메타데이터 및 특징 중에서 극단주의 또는 불안정을 예측하는 데 가장 유용한 것은 무엇인가?
• RQ4 기존 연구는 다국어 또는 비영어 환경을 고려할 때 지역적·언어적 범위에서 어떻게 다를까?
• RQ5 특히 지역 특화성과 평가의 엄밀함 측면에서 현재의 접근법에서 가장 큰 연구 격차는 무엇인가?

주요 결과

• 트위터는 실시간성과 짧은 텍스트 성격, 팔로워 기반 확산 특성 덕분에 시민 불안정 예측에 가장 널리 사용되는 플랫폼이다.
• 유튜브는 시위 예측 연구에서 다소 간과되긴 했지만, 온라인 극단주의의 주요 플랫폼으로 뚜렷하다.
• 명명된 실체 인식(NER)은 극단주의 및 불안정 탐지 모두에서 텍스트 처리 파이프라인에서 흔히 사용되는 구성 요소이다.
• 90%의 연구가 영어 콘텐츠에 집중하고 있어, 다국어 및 비영어 텍스트 분석 분야에서 중대한 격차가 존재한다.
• 60%의 연구가 특정 국가나 지역의 사건을 대상으로 하며, 대부분 라틴 아메리카 및 미국을 중심으로 한다.
• 정밀도가 가장 흔히 사용되는 평가 지표이며, 사회망 분석(SNA)은 숨겨진 극단주의 공동체 탐지에 자주 활용된다.