[논문 리뷰] ViHOS: Hate Speech Spans Detection for Vietnamese

Phu Gia Hoang, Canh Duc Luu외 3명|arXiv (Cornell University)|2023. 01. 24.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 베트남어 소셜미디어 댓글에서 혐오 발언 구간을 탐지하기 위한 데이터셋과 어노테이션 프레임워크인 ViHOS를 소개한다. 비디어티컬 마크, 은유, 농담, 철자 변형, 동음이의어, 코드 믹싱, 그리고 의도적인 왜곡 기법과 같은 언어학적 과제를 고려하여, 맥락 인지형, 의미 수준의 레이블링을 통해 어노테이터를 훈련시켜, 자원이 적은 환경에서도 탐지 성능을 크게 향상시킨다.

ABSTRACT

The rise in hateful and offensive language directed at other users is one of the adverse side effects of the increased use of social networking platforms. This could make it difficult for human moderators to review tagged comments filtered by classification systems. To help address this issue, we present the ViHOS (Vietnamese Hate and Offensive Spans) dataset, the first human-annotated corpus containing 26k spans on 11k comments. We also provide definitions of hateful and offensive spans in Vietnamese comments as well as detailed annotation guidelines. Besides, we conduct experiments with various state-of-the-art models. Specifically, XLM-R$_{Large}$ achieved the best F1-scores in Single span detection and All spans detection, while PhoBERT$_{Large}$ obtained the highest in Multiple spans detection. Finally, our error analysis demonstrates the difficulties in detecting specific types of spans in our data for future research. Disclaimer: This paper contains real comments that could be considered profane, offensive, or abusive.

연구 동기 및 목표

• 베트남어에 대한 혐오 발언 탐지 어노테이션 데이터셋의 부족을 해결하며, 복잡한 사회어휘적 특성을 지닌 자원이 적은 언어인 베트남어를 대상으로 한다.
• 비디어티컬 마크, 은유, 은유적 표현, 농담, 철자 오류, 동음이의어, 코드 믹싱, 그리고 의도적인 왜곡과 같은 언어학적 과제를 해결한다.
• 언어적 왜곡과 모호성에도 불구하고 공격적인 구간을 정확하게 식별할 수 있도록 강력한 어노테이션 프레임워크를 개발한다.
• 베트남어 온라인 논의에서 표면적 텍스트 형태가 아니라 의미적 의도를 포착함으로써 혐오 발언 탐지 시스템을 향상시킨다.
• 다양한 언어적 형태에 걸쳐 혐오 발언 구간을 일관되고 신뢰성 있게 식별할 수 있도록 표준화된 맥락 인지형 레이블링 프로토콜을 제공한다.

제안 방법

• 비디어티컬 마크, 은유, 농담, 동음이의어 등 10종의 고유한 언어적 왜곡 유형을 포함한 다단계 어노테이션 프로토콜을 설계하여 공격적인 구간을 식별한다.
• 의미가 모호하거나标점이 없는 댓글을 재읽어 의미를 해석하도록 어노테이터를 훈련시켜, 특히 음절 위주의 마크가 누락되거나 구두점이 불명확한 경우에 대비한다.
• 의미 수준의 어노테이션 적용: 단어가 왜곡되거나 재배열되어도 혐오 또는 공격적인 의미를 전달하는 전체 어구나 문장을 레이블링한다.
• 비어린 기호(예: *칼 상징*, ()))를 처리하며, 이러한 기호들이 결합될 경우 일관된 공격적 의미를 형성하면 공격적인 것으로 간주한다.
• 외국어어휘 및 코드 믹싱(예: 'Vl', 'fake', 'compat' 등 영어어휘)을 공격적인 구간으로 간주하며, 맥락상 혐오 또는 모욕을 담고 있을 경우 레이블링한다.
• 왜곡 인지형 레이블링 구현: 검열된 단어(예: 'l*n', 'c h.ó')의 경우, 공격적 표현을 구성하는 모든 문자나 재구성된 형태를 레이블링한다.

실험 결과

연구 질문

• RQ1 비디어티컬 마크, 구두점, 또는 음절 대체 기법을 사용해 왜곡된 경우, 어떻게 베트남어에서 공격적인 구간을 신뢰성 있게 식별할 수 있는가?
• RQ2 베트남어 댓글에서 은유와 은유적 표현이 혐오 발언을 얼마나 효과적으로 가리키며, 의미 수준의 어노테이션을 통해 어떻게 탐지할 수 있는가?
• RQ3 철자 변형과 지역적 음절 오류는 혐오 발언 탐지에 어떤 영향을 미치며, 이러한 형태 간 일관성을 확보하기 위한 어노테이션 전략은 무엇인가?
• RQ4 동음이의어와 농담(예: 'coin card'가 'con cặc'를 의미함)은 어떻게 체계적으로 탐지하고 공격적인 구간으로 레이블링할 수 있는가?
• RQ5 맥락 인지형, 의미 수준의 어노테이션 프레임워크는 의도적인 왜곡 기법으로 인한 탐지 회피를 고려할 때 얼마나 효과적으로 공격적 의도를 포착할 수 있는가?

주요 결과

• 어노테이션 프레임워크는 비디어티컬 마크, 은유, 농담, 동음이의어를 포함한 10종의 고유한 언어적 왜곡 유형에서 공격적인 구간을 성공적으로 식별했다.
• 비디어티컬 마크인 'deo'는 'đéo'의 의미로, 'cai'는 'ái'의 의미로 사용되며, 맥락상 존재할 경우 항상 공격적인 것으로 일관되게 어노테이션되었다.
• 은유적 표현인 'cái miệng rộng quá đẻ con ra còn lọt' (입이 너무 넓어 아이가 나올 수 있을 정도)는 그 의미가 질의의 은유이므로 공격적인 것으로 정확히 레이블링되었다.
• 왜곡된 어휘인 'l*n' (별표 사용)과 'c h.ó' (공백과 점 포함)는 각각 'pussy'와 'dog'로 재구성되었을 때 공격적인 구간으로 탐지되었다.
• 'Bồn Kỳ Lắc'은 뒤집어 읽으면 'Bắc Kỳ Lồn'이 되어 'pussy north'를 의미하므로, 발음과 철자 분석을 통해 공격적인 것으로 정확히 식별되었다.
• 코드 믹싱어휘인 'Vl fake'와 'đá phò'는 비록 비베트남어어휘에 포함되어 있더라도, 혐오 또는 모욕을 담고 있을 경우 공격적인 것으로 레이블링되었다.