[논문 리뷰] ALONE: A Dataset for Toxic Behavior among Adolescents on Twitter

Thilini Wijesiriwardene, Hale Inan외 6명|arXiv (Cornell University)|2020. 08. 14.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 고등학생들이 티커에서 발생하는 독성 상호작용에 대해 쌍방향의 맥락 인식 상호작용을 통해 수집한 다중모odal 데이터셋 ALONE을 소개한다. 트윗 스레드, 이미지, 이모티콘, 메타데이터를 유지함으로써 개별 트윗을 넘어서는 세밀한 독성 탐지가 가능해지며, 맥락이 정확한 분류에 핵심적임을 드러낸다. 전체 상호작용 중 17.15%가 독성으로 분류되었고, 79.51%는 비독성, 3.34%는 명확하지 않아, 고립된 콘텐츠보다 상호작용 수준의 분석이 중요함을 시사한다.

ABSTRACT

The convenience of social media has also enabled its misuse, potentially resulting in toxic behavior. Nearly 66% of internet users have observed online harassment, and 41% claim personal experience, with 18% facing severe forms of online harassment. This toxic communication has a significant impact on the well-being of young individuals, affecting mental health and, in some cases, resulting in suicide. These communications exhibit complex linguistic and contextual characteristics, making recognition of such narratives challenging. In this paper, we provide a multimodal dataset of toxic social media interactions between confirmed high school students, called ALONE (AdoLescents ON twittEr), along with descriptive explanation. Each instance of interaction includes tweets, images, emoji and related metadata. Our observations show that individual tweets do not provide sufficient evidence for toxic behavior, and meaningful use of context in interactions can enable highlighting or exonerating tweets with purported toxicity.

연구 동기 및 목표

• 기존 데이터셋이 사용자 또는 트윗 수준에서 독성을 분석함에 있어 온라인 괴롭힘의 맥락적 뉘앙스를 놓치는 데에 기인한 한계를 해결하기 위해.
• 독성에 영향을 받기 쉬운 취약 집단인 고등학생을 전면에 내세운 데이터셋을 구축하기 위해.
• 고립된 메시지가 아닌 소스 및 타겟 사용자 간의 상호작용을 분석함으로써 진정한 독성 행동을 탐지하기 위해.
• 텍스트, 이미지, 이모티콘, URL 등을 포함한 다중모달 데이터를 활용한 기계학습 모델의 훈련을 지원하기 위한 자원을 제공하기 위해.
• 청소년 사회망에서의 시간적 시리즈 및 행동 분석을 촉진하여 사이버 괴롭힘의 유전적 원인과 패턴에 대한 연구를 지원하기 위해.

제안 방법

• 중서부 미국의 고등학생을 대상으로 한 정제된 샘플에서, 참가자 신원과 상호작용을 확인하기 위한 고유한 방법을 사용해 데이터셋을 수집하였다.
• 각 상호작용은 소스 사용자와 타겟 사용자 간의 유도적이고 쌍방향 교환으로 모델링되며, 전체 대화 스레드와 관련 메타데이터를 유지한다.
• 데이터에는 상호작용 ID, 카운트, 사용자 ID, 이모티콘 및 키워드, 트윗, 이미지 및 URL 키워드, 타임스탬프, 좋아요 수, 답글 맥락, 독성 레이블의 12개 필드가 포함되어 있다.
• 독성은 세 단계 척도로 레이블링되며, 독성(T), 비독성(N), 명확하지 않음(U)이며, 세 명의 애너테이터가 다수결을 통해 최종 확정한다.
• 애너테이터 간 일치도는 Krippendorff’s alpha(세 레이블 기준 α = 0.63, 두 레이블 기준 α = 0.65)와 Cohen’s Kappa를 사용해 측정되었으며, 상당한 애너테이터 간 신뢰도를 확인하였다.
• 데이터셋은 세 클래스(T/N/U)와 두 클래스(T/N) 레이블링 체계를 지원하여 모델 훈련 및 평가의 유연성을 제공한다.

실험 결과

연구 질문

• RQ1 쌍방향 상호작용의 맥락은 청소년 소셜미디어 커뮤니케이션에서 독성 인식에 어떻게 영향을 미치는가?
• RQ2 다중모달 요소(이미지, 이모티콘, URL)는 청소년 상호작용에서 독성 행동 탐지에 어느 정도 기여하는가?
• RQ3 레이블 불일치 및 모호한 사례(예: '명확하지 않음' 인스턴스)는 독성 탐지 모델의 성능과 내구성에 어떤 영향을 미치는가?
• RQ4 기존의 사용자 또는 트윗 수준 접근 방식보다 상호작용 수준 분석이 진정한 온라인 괴롭힘의 특정 사례를 식별하는 데서 더 우수한가?
• RQ5 고등학생들 사이에서 독성 상호작용의 분포 패턴은 콘텐츠의 풍부함, 다중모달 사용, 시간적 동적 변화 측면에서 어떻게 나타나는가?

주요 결과

• 독성 상호작용은 전체 데이터셋의 17.15%를 차지하며, 비독성 상호작용은 79.51%를 차지하여 실제 세계의 흔히 볼 수 있는 비율을 반영한 심각한 클래스 불균형을 보인다.
• '명확하지 않음' 카테고리는 3.34%를 차지하며, 애너테이터들이 합의에 도달하지 못한 사례를 의미하며, 독성 탐지의 주관적 성격을 드러낸다.
• 독성 상호작용는 비독성 상호작용보다 평균적으로 더 많은 트윗을 포함하고 있어, 유해한 교환에서 높은 강도와 지속적인 참여가 이루어짐을 시사한다.
• 독성 상호작용는 더 많은 다중모달 콘텐츠를 포함할 가능성이 높다: 43.88%는 이미지 URL을 포함하고, 13.79%는 동영상 URL을 포함하고, 15.04%는 텍스트 URL을 포함한다. 이는 해로운 교환에서 더 풍부한 미디어 사용이 이루어짐을 나타낸다.
• 이모티콘과 이미지 키워드의 사용 빈도가 독성 상호작용에서 더 높아, 독성 탐지에 다중모달 모델링의 필요성을 뒷받침한다.
• Krippendorff’s alpha 값이 세 레이블 기준 0.63, 두 레이블 기준 0.65로 나타나 애너테이터 간 상당한 일致도를 보이며, 레이블링 과정의 신뢰성을 검증한다.