[논문 리뷰] An exploratory experiment on Hindi, Bengali hate-speech detection and transfer learning using neural networks

Tung Minh Phung, Jan Cloos|arXiv (Cornell University)|2022. 01. 06.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 신경망을 사용한 전이 학습을 통해 히ند어 및 벤갈어에 대한 저자원, 계산 비용이 낮은 혐오 발언 탐지 시스템을 제안한다. 단어 임베딩을 미세 조정하고 히ند어 모델에서 분류기 가중치를 재사용함으로써, 이 접근법은 벤갈어 데이터에서 82.98%의 정확도를 달성한다—초기 학습과 유사한 성능을 보이며, 제한된 데이터와 명시적 번역 지도 없이도 효과적인 다국어 지식 전이를 입증한다.

ABSTRACT

This work presents our approach to train a neural network to detect hate-speech texts in Hindi and Bengali. We also explore how transfer learning can be applied to learning these languages, given that they have the same origin and thus, are similar to some extend. Even though the whole experiment was conducted with low computational power, the obtained result is comparable to the results of other, more expensive, models. Furthermore, since the training data in use is relatively small and the two languages are almost entirely unknown to us, this work can be generalized as an effort to demystify lost or alien languages that no human is capable of understanding.

연구 동기 및 목표

• 신경망을 사용하여 저비용 계산으로 히нд어 및 벤갈어에 대한 혐오 발언 탐지 모델을 개발한다.
• 제한된 레이블이 있는 상황에서 히нд어에서 벤갈어로의 전이 학습이 성능 향상에 기여하는지 조사한다.
• 히нд어와 벤갈어 간의 공통된 언어 뿌리가 NLP 작업에서 효과적인 지식 전이를 가능하게 하는지 평가한다.
• 전이 학습이 의미적 표현이 정렬된 방식으로 어휘 수준 번역을 암묵적으로 지원할 수 있는지 탐색한다.
• 특히 일반화 및 과적합 측면에서, 초기 학습 모델과 전이 학습 모델의 성능을 비교한다.

제안 방법

• 사용자 이름,标 punctuations, 불용어를 제거하면서 해시태그를 유지하고 영어 단어의 경우의 수를 정규화하여 원시 소셜 미디어 텍스트를 전처리한다.
• 300차원 벡터 공간과 10의 컨텍스트 윈도우를 사용한 스킵그램 아키텍처로 단어 임베딩을 학습한다.
• 학습된 임베딩 위에 2층의 피드포워드 신경망 분류기를 적용하여 혐오 발언 분류를 수행한다.
• 배치 정규화, 드롭아웃, 학습률 스케줄링과 같은 향상된 학습 기법을 적용하여 모델의 일반화 능력을 향상시킨다.
• 히нд어 모델의 가중치를 사용하여 벤갈어 모델의 가중치를 초기화함으로써 전이 학습을 구현하며, 특히 임베딩 레이어를 제외한 레이어의 가중치를 재사용한다.
• 코사인 유사도를 계산하여 히нд어와 벤갈어의 번역된 단어 임베딩 간의 유사도를 평가함으로써 어휘 번역 잠재력의 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 저자원 히нд어 혐오 발언 데이터로 학습된 신경망이 최소한의 계산 비용으로 벤갈어에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 초기 학습 대비 히нд어에서 벤갈어로의 전이 학습이 분류 정확도 향상에 기여하는가?
• RQ3 유사한 데이터셋 크기와 레이블 분포를 가짐에도 불구하고, 기본 히нд어-히нд어 모델은 성능 저하를 보이는 반면, 벤갈어-벤갈어 모델은 그렇지 않은 이유는 무엇인가?
• RQ4 명시적 정렬 없이도 히нд어와 벤갈어 간의 전이 학습이 의미 있는 어휘 수준 번역 표현을 생성할 수 있는가?
• RQ5 히нд어 분류기의 비임베딩 레이어만 재사용하는 고정 가중치 전이 학습이 벤갈어에 대해 얼마나 효과적인가?

주요 결과

• 향상된 히нд어-히нд어 모델은 테스트 정확도 80.73%를 달성하여 기준 모델 대비 약 10% 향상되었으며, 에포크 8 이후 성능 저하 없이 안정성을 유지했다.
• 향상된 학습 기법을 적용한 벤갈어-벤갈어 모델은 82.98%의 정확도를 기록하여 기준 모델 대비 약 4% 향상되었다.
• 히нд어-벤갈어 전이 학습 모델은 80.40%의 정확도를 기록하여 기준 모델 대비 약 2% 향상되었으며, 기준 모델가 이미 에포크 6부터 약 80%의 성능을 유지하고 있어 성능 향상이 미미했다.
• 특히 향상된 모델, 특히 히нд어-히нд어 및 벤갈어-벤갈어 변종은 과적합을 피하고 일반화 능력이 향상되었으며, 기준 모델과는 달리 안정적인 성능을 보였다.
• 코사인 유사도를 통한 분석 결과, 의미 있는 어휘 수준 번역은 관찰되지 않았으며, 벤갈어 임베딩 레이어가 히нд어 단어의 등가 표현으로 수렴하지 못한 것으로 나타났다.
• 히нд어-벤갈어 모델에서 전이된 가중치(비임베딩 레이어)를 고정시켜도 성능 향상이 유의미하지 않았으며, 이는 기준 모델이 이미 강력한 성능을 보였기 때문임을 시사한다.