[논문 리뷰] Characterizing Linguistic Attributes for Automatic Classification of Intent Based Racist/Radicalized Posts on Tumblr Micro-Blogging Website

Swati Agarwal, Ashish Sureka|arXiv (Cornell University)|2017. 01. 18.

Hate Speech and Cyberbullying Detection참고 문헌 8인용 수 48

한 줄 요약

이 논문은 언어적 특성, 정서적 성향, 성격 특성 분석을 통해 영어로 된 Tumblr 마이크로블로그에서 인종차별적 및 극단주의적 의도를 자동으로 분류하기 위해 계단식 앙상블 학습 방법을 제안한다. 이 방법은 정서 어조, 글쓰기 신호, 사회적 성향을 주요 분류 특성으로 활용하여, 모호하거나 비꼬는 표현이 담긴 게시물에서 의도를 식별하는 데에 키워드 기반 방법보다 정밀도를 향상시킨다.

ABSTRACT

Research shows that many like-minded people use popular microblogging websites for posting hateful speech against various religions and race. Automatic identification of racist and hate promoting posts is required for building social media intelligence and security informatics based solutions. However, just keyword spotting based techniques cannot be used to accurately identify the intent of a post. In this paper, we address the challenge of the presence of ambiguity in such posts by identifying the intent of author. We conduct our study on Tumblr microblogging website and develop a cascaded ensemble learning classifier for identifying the posts having racist or radicalized intent. We train our model by identifying various semantic, sentiment and linguistic features from free-form text. Our experimental results shows that the proposed approach is effective and the emotion tone, social tendencies, language cues and personality traits of a narrative are discriminatory features for identifying the racist intent behind a post.

연구 동기 및 목표

• 키워드 기반 방법이 실패하는 모호하거나 짧은 소셜미디어 게시물에서 인종차별적 및 극단주의적 의도를 식별하는 데 도전하는 것.
• 기존 기술보다 뛰어난 정확도를 보이는 계단식 앙상블 학습 분류기 개발.
• 혐오를 조장하는 내용과 비혐오적 내역을 구분하는 데 기여하는 언어적, 정서적, 성격 기반 특성의 규명 및 검증.
• 주제 분류를 통해 비주제 관련 또는 노이즈가 많은 게시물을 걸러내어 의도 탐지 정확도 향상.
• 세련된 의도 이해를 가능하게 하는 자동화된 유해 콘텐츠 탐지 기능을 제공하여 소셜미디어 지능 및 보안 인포매틱스 지원.

제안 방법

• 이 연구는 Tumblr 마이크로블로그에서 의도를 탐지하기 위해 계단식 앙상블 학습을 활용한 이중 단계의 일종 분류 프레임워크를 적용한다.
• 감성, 정서 어조, 의미적 태깅, 글쓰기 신호, 사회적 성향에 대해 오픈소스 API를 사용해 언어적 특성을 추출한다.
• 다양한 분류기(결정 트리, 나이브 베이즈, 랜덤 포레스트)를 특성 수준의 앙상블 전략을 통해 통합하여 정확도를 향상시킨다.
• 개별 및 쌍으로 특성 벡터를 제거하면서 중요도를 분석하여 정밀도 및 성능에 미치는 영향 평가.
• 비주제 관련 또는 노이즈가 많은 게시물을 걸러내기 위해 주제 분류를 적용하여 전체 분류기 정확도 향상.
• 태그 수준 분석과 태그 내 문장 식별을 통합하여 언어적 특성 추출을 향상시킨다.

실험 결과

연구 질문

• RQ1 마이크로블로그에서 인종차별적 또는 극단주의적 의도와 비혐오적 내역을 구분하는 데 가장 효과적인 언어적, 정서적, 성격 기반 특성들은 무엇인가?
• RQ2 정서 어조나 글쓰기 신호와 같은 핵심 특성이 제거될 경우 의도 분류 성능는 어떻게 변하는가?
• RQ3 주제 분류 및 비주제 관련 게시물 필터링이 의도 탐지 정밀도에 얼마나 기여하는가?
• RQ4 모호하거나 비꼬는 표현이 담긴 게시물은 의도 분류의 신뢰성에 어떤 영향을 미치며, 언어적 특성으로 이를 완화할 수 있는가?
• RQ5 계단식 특성 선택을 통한 앙상블 학습은 단일 분류기나 키워드 기반 접근 방식보다 미묘한 혐오 발언 의도 탐지에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 정서 어조, 글쓰기 신호, 사회적 성격 특성은 모든 분류기와 데이터셋에서 일관되게 가장 분류 능력이 뛰어난 특성으로 나타났다.
• F1(글쓰기 신호)를 개별적으로 제거했을 때 Test-Data1에서는 정밀도가 6% 감소했고, Test-Data2에서는 2.25% 감소하여 강력한 정확도 향상 기여를 확인했다.
• 결정 트리에서는 F1이 다른 특성에 부정적 영향을 미쳐 특성 간 상호작용에 간섭을 일으킬 수 있음을 시사했다.
• 나이브 베이즈에서는 사회적 어조(F5)가 다른 특성과 함께 조합될 경우 성능이 저하되었지만, F3 또는 F4와 F5를 조합하면 정확도가 1%에서 2% 향상되었다.
• 랜덤 포레스트에서는 F3(정서 어조) 또는 F4(글쓰기 신호)를 포함한 두 특성 조합을 제거할 경우 성능이 최소 4% 이상 저하되어 이들이 핵심적인 역할을 한다는 점을 확인했다.
• 의미적 태깅(F2)과 사회적 성향(F5)은 넓은 주제나 정서 범위를 다루는 게시물에서 중요하게 작용하여 분류의 모호함을 줄이는 데 기여했다.