[논문 리뷰] "Hinglish" Language -- Modeling a Messy Code-Mixed Language

Vivek Kumar Gupta|arXiv (Cornell University)|2019. 12. 30.

Hate Speech and Cyberbullying Detection참고 문헌 1인용 수 5

한 줄 요약

이 논문은 Hinglish 소셜미디어 콘텐츠를 모욕적, 증오 유도성, 비공격성으로 분류하기 위해 데이터 증강을 적용한 이방향 LSTM 모델을 제안한다. 합성 텍스트에 동의어 교체, 무작위 삽입, 교환, 삭제 기법을 적용함으로써 모델은 최신 기술 수준의 성능을 달성하였으며, 이전의 하이브리드 CNN-LSTM 접근 방식을 능가하였고, 증오 발언 탐지에 대해 77%의 리콜과 공격적 콘텐츠에 대해 92%의 정밀도를 기록하였다.

ABSTRACT

With a sharp rise in fluency and users of "Hinglish" in linguistically diverse country, India, it has increasingly become important to analyze social content written in this language in platforms such as Twitter, Reddit, Facebook. This project focuses on using deep learning techniques to tackle a classification problem in categorizing social content written in Hindi-English into Abusive, Hate-Inducing and Not offensive categories. We utilize bi-directional sequence models with easy text augmentation techniques such as synonym replacement, random insertion, random swap, and random deletion to produce a state of the art classifier that outperforms the previous work done on analyzing this dataset.

연구 동기 및 목표

• 인도 소셜미디어에서 널리 사용되는 히нд어와 영어를 혼합한 언어인 Hinglish에서 공격적이고 증오 유도성 콘텐츠를 분류하는 데 도전하는 것.
• 작은, 불균형적인 데이터셋의 한계를 극복하기 위해 합성 텍스트 데이터에 대한 데이터 증강 기법을 적용하는 것.
• 노이즈가 많고 언어적 다양성이 높은 Hinglish 텍스트에서 장기적 의존성을 포착할 수 있는 딥러닝 모델을 개발하는 것.
• HEOT 데이터셋에서 이전 최신 기술 수준의 하이브리드 CNN-LSTM 모델을 초월한 분류 성능 향상을 이루는 것.

제안 방법

• Hinglish 텍스트의 순차적 의존성을 모델링하기 위해 이방향 LSTM 네트워크를 사용하여 전방 및 후방 맥락을 모두 포착한다.
• 학습 데이터의 다양성과 크기를 증가시키기 위해 동의어 교체, 무작위 삽입, 무작위 교환, 무작위 삭제의 네 가지 텍스트 증강 기법을 적용한다.
• Hinglish 데이터셋에 맞게 미세조정한 100차원의 사전 훈련된 GloVe 단어 임베딩을 사용하여 표현 학습을 향상시킨다.
• 성능과 과적합의 균형을 맞추기 위해 학습률(0.01), 시퀀스 길이(200), 32개의 이방향 LSTM 유닛 등의 초모수를 최적화한다.
• 사전 훈련된 GloVe 가중치로 임베딩을 초기화하고 Hinglish 데이터에서 미세조정함으로써 전이 학습을 구현한다.
• 모델링 이전에 URL, 사용자명, 해시태그,标 punctuations, 정지어 등을 제거하여 원시 트윗을 전처리하여 노이즈를 줄인다.

실험 결과

연구 질문

• RQ1 저자원, 코드 믹스된 Hinglish 텍스트 분류에 대해 데이터 증강 기법이 딥러닝 모델의 성능을 향상시킬 수 있는가?
• RQ2 GRU, LSTM, 이방향 LSTM 등의 다양한 시퀀스 모델링 아키텍처가 Hinglish에서 공격적 및 증오 발언을 분류하는 데 어떻게 비교되는가?
• RQ3 Hinglish 데이터에 대해 사전 훈련된 단어 임베딩(GloVe 등)을 미세조정하면 고정 임베딩 대비 분류 정확도가 얼마나 향상되는가?
• RQ4 제한된 레이블이 있는 상황에서 영어 데이터셋에서의 전이 학습이 Hinglish 공격 언어 탐지 성능을 향상시키는가?
• RQ5 현재 모델이 Hinglish에서 증오 발언을 탐지하는 데 있어 핵심적인 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• 32개의 유닛과 0.2의 재귀 드롭아웃을 가진 이방향 LSTM이 증오 발언 탐지에 대해 가장 높은 리콜(77%)을 기록하여 다른 RNN 변종보다 뛰어난 성능을 보였다.
• GRU 기반 모델이 공격적 콘텐츠 분류에 대해 가장 높은 정밀도(92%)를 기록하여 가짜 양성 결과를 최소화하는 데 강력한 성능을 보였다.
• 데이터 증강을 적용한 모델이 이전 최신 기술 수준의 하이브리드 CNN-LSTM 모델을 능가하여, 저자원 환경에서 합성 데이터의 효과성을 입증하였다.
• 사전 훈련된 GloVe 임베딩을 Hinglish 데이터에 대해 미세조정하면 고정 임베딩을 사용할 때보다 더 뛰어난 성능을 기록하였으며, 도메인 특화 표현 학습의 가치를 입증하였다.
• 비공격성 및 공격성 카테고리에 대해선 강력한 성과를 보였지만, 증오 발언 탐지의 리콜이 80% 이하로 남아 있어 일반화 능력 향상의 필요성을 시사하였다.
• 오류 분석 결과, 모델이 희귀하거나 매우 변형된 언어적 형태를 처리하는 데 어려움을 겪었으며, 더 큰, 더 다양한 Hinglish 어휘집이 개선된 내성성 확보를 위해 필요하다는 점을 시사하였다.