[논문 리뷰] Hope Speech Detection: A Computational Analysis of the Voice of Peace

Shriphani Palakodety, Ashiqur R. KhudaBukhsh외 1명|arXiv (Cornell University)|2019. 09. 11.

Political Conflict and Governance인용 수 18

한 줄 요약

이 논문은 정치적으로 긴장된 갈등 기간 동안 적대감을 확산시키는 사용자 생성 온라인 콘텐츠를 식별하기 위한 새로운 NLP 과제인 희망의 말(Hope-speech) 감지를 소개한다. 2019년 인도-파키스탄 갈등 기간 동안 유튜브 댓글을 대상으로 다국어 단어 임베딩을 사용한 저자원 언어 식별과 최적화된 분류기 학습을 통해 평화를 촉진하는 메시지 탐지에 84.68%의 정밀도를 달성하였으며, 이는 갈등 수위가 가장 높을 때 평화 지향적 여론이 최고조에 이르렀음을 시사한다.

ABSTRACT

The recent Pulwama terror attack (February 14, 2019, Pulwama, Kashmir) triggered a chain of escalating events between India and Pakistan adding another episode to their 70-year-old dispute over Kashmir. The present era of ubiquitious social media has never seen nuclear powers closer to war. In this paper, we analyze this evolving international crisis via a substantial corpus constructed using comments on YouTube videos (921,235 English comments posted by 392,460 users out of 2.04 million overall comments by 791,289 users on 2,890 videos). Our main contributions in the paper are three-fold. First, we present an observation that polyglot word-embeddings reveal precise and accurate language clusters, and subsequently construct a document language-identification technique with negligible annotation requirements. We demonstrate the viability and utility across a variety of data sets involving several low-resource languages. Second, we present an analysis on temporal trends of pro-peace and pro-war intent observing that when tensions between the two nations were at their peak, pro-peace intent in the corpus was at its highest point. Finally, in the context of heated discussions in a politically tense situation where two nations are at the brink of a full-fledged war, we argue the importance of automatic identification of user-generated web content that can diffuse hostility and address this prediction task, dubbed \emph{hope-speech detection}.

연구 동기 및 목표

• 지역적 갈등 기간 동안 고조된 온라인 논의에서 적대감을 완화하는 콘텐츠를 탐지하는 과제를 해결하기 위해.
• 최소한의 인간 주석을 동반한 다국어 단어 임베딩 기반 기법을 활용해 저자원 언어 식별 방법을 개발하기 위해.
• 2019년 인도-파키스탄 갈등 기간 동안 전쟁 지향 및 평화 지향 여론의 시간적 추세를 분석하기 위해.
• 실제 소셜 미디어 모니터링에 활용 가능한 실용적 응용이 가능한 새로운 NLP 과제로 희망의 말 감지를 정립하기 위해.
• 자동화된 평화를 촉진하는 콘텐츠 탐지 기술이 실제 환경에서 실현 가능하고 효과적임을 입증하기 위해.

제안 방법

• 2019년 풀와마 공격 및 그 후유에 관한 뉴스를 다룬 2,890개의 영상에서 유튜브 댓글을 대상으로 총 921,235개의 영어 댓글로 구성된 대규모 코퍼스를 구축하였다.
• 최소한의 수동 주석 데이터를 활용해 높은 정확도로 언어를 군집화하는 다국어 단어 임베딩 기반 언어 식별 기법을 제안하였다.
• 감성 어휘 사전과 지도 학습을 활용해 수동 주석이 내재된 댓글을 기반으로 희망의 말 분류기를 구축하였다.
• 정규화된 특징을 사용해 분류기를 학습하고, 100번의 무작위 데이터 분할에 걸쳐 성능을 평가하였다.
• 실제 환경에서의 성능을 평가하기 위해 무작위로 추출한 1,000개의 주석 미부여 댓글에 대해 인간 평가를 실시하였다.
• 제안된 희망의 말 감지 과제와의 성능 대비를 분석하기 위해 스탠포드 코어엔엘을 감성 분석의 기준으로 사용하였다.

실험 결과

연구 질문

• RQ1 다국어 소셜 미디어 데이터에 대해 최소한의 수동 주석을 동반한 정확한 언어 식별 시스템을 구축하기 위해 다국어 단어 임베딩을 활용할 수 있는가?
• RQ2 고위험 지정된 지정학적 갈등 기간 동안 전쟁 지향 및 평화 지향 여론의 추세는 시간이 지남에 따라 어떻게 변화하는가?
• RQ3 적대감을 완화하고 평화를 촉진하는 내용인 희망의 말은 높은 정밀도와 재현율로 자동으로 탐지될 수 있는가?
• RQ4 이 맥락에서 특화된 희망의 말 분류기의 성능은 일반 감성 분석 도구와 비교해 어떻게 다를까?
• RQ5 실제 소셜 미디어 논의 환경에서 제안된 방법으로 탐지 가능한 평화를 촉진하는 콘텐츠의 하위 카테고리는 무엇인가?

주요 결과

• 다국어 단어 임베딩 기반 언어 식별 기법은 극히 적은 수의 수동 주석만으로도 높은 정확도를 달성하여, 특히 저자원 언어에 대해 효과적인 다국어 소셜 미디어 데이터 분석을 가능하게 하였다.
• 평화 지향 여론은 인도-파키스탄 갈등의 가장 격렬한 단계에 이르러 최고조에 이르렀으며, 이는 갈등이 평화 지향적 논의를 억압할 것이라는 기대와는 정반대되는 결과였다.
• 실제 환경 테스트에서 희망의 말 분류기는 84.68%의 정밀도를 기록하였으며, 인간 평가에서 예측된 양성 댓글 111개 중 94개를 정확히 식별하였다.
• 분류기는 평화를 위한 호소, 공통의 인간성 강조, 전쟁과 정치적 갈등에 대한 비판 등 희망의 말의 주요 하위 카테고리를 모두 탐지하였다.
• 일반 감성 분석 도구(예: 스탠포드 코어엔엘)는 이 과제에서 성능이 열악했으며(F1: 33.17%), 이는 희망의 말 감지에 표준 감성 분석을 넘어서 특화된 접근이 필요함을 시사한다.
• 본 연구는 평화를 촉진하는 콘텐츠의 자동 탐지가 실현 가능하며, 고조된 온라인 논의 기간 동안 수동 모니터링의 노력을 크게 줄일 수 있음을 입증하였다.