[논문 리뷰] Lifelong Learning of Hate Speech Classification on Social Media

Jing Qian, Hong Wang외 2명|arXiv (Cornell University)|2021. 06. 05.

Hate Speech and Cyberbullying Detection참고 문헌 36인용 수 5

한 줄 요약

이 논문은 소셜 미디어에서 미세한 혐오 발언 분류를 위한 수명 주기 학습 프레임워크를 제안하며, 재난적 기억 상실을 완화하기 위해 변동형 표현 학습(Variational Representation Learning, VRL)과 LB-SOINN 기반 메모리 모듈을 결합한다. 이 방법은 작업 간 유사도가 낮고 시퀀스 길이가 길어지는 조건에서도 최신 기술 대비 뛰어난 성능을 달성한다. 이는 작업별 지식을 분리된 잠재 분포에 융합하고, 핵심 학습 샘플을 효율적으로 유지함으로써 가능하다.

ABSTRACT

Existing work on automated hate speech classification assumes that the dataset is fixed and the classes are pre-defined. However, the amount of data in social media increases every day, and the hot topics changes rapidly, requiring the classifiers to be able to continuously adapt to new data without forgetting the previously learned knowledge. This ability, referred to as lifelong learning, is crucial for the real-word application of hate speech classifiers in social media. In this work, we propose lifelong learning of hate speech classification on social media. To alleviate catastrophic forgetting, we propose to use Variational Representation Learning (VRL) along with a memory module based on LB-SOINN (Load-Balancing Self-Organizing Incremental Neural Network). Experimentally, we show that combining variational representation learning and the LB-SOINN memory module achieves better performance than the commonly-used lifelong learning techniques.

연구 동기 및 목표

• 기존 혐오 발언 분류기가 정적이고 사전 정의된 데이터셋을 가정하며, 빠르게 변화하는 소셜 미디어 콘텐츠에 적응하지 못하는 한계를 해결하기 위해.
• 빠르게 변화하는 온라인 주제와 이데올로기로 인한 비정상적인 데이터 분포 상황에서도 혐오 발언 분류의 지속적 학습을 가능하게 하기 위해.
• 트위터에서 관찰되는 다양한 혐오 집단 이데올로기처럼 의미적으로 유사도가 낮은 순차적 작업에서 재난적 기억 상실을 완화하기 위해.
• 초기 재학습 없이 증가하는 혐오 발언 분류 작업 시퀀스 전반에서 높은 성능을 유지할 수 있는 확장성 있고 강건한 방법을 개발하기 위해.

제안 방법

• 혐오 이데올로기(예: 반무슬림, KKK)별로 그룹화된 서브 데이터셋을 순차적으로 학습하는 새로운 지속적 미세한 혐오 발언 분류 작업을 제안한다.
• 작업별 지식을 잠재 변수 분포에 융합함으로써 지식 유지 및 기억 상실 감소를 촉진하기 위해 변동형 표현 학습(Variational Representation Learning, VRL)을 활용한다.
• 각 작업의 학습 데이터에서 가장 대표적인 샘플을 동적으로 선택하고 저장하기 위해 LB-SOINN(Load-Balancing Self-Organizing Incremental Neural Network) 메모리 모듈을 도입한다.
• 이중 브랜치 아키텍처를 사용한다: 하나는 KL 발산 정규화를 적용한 VAE 기반 표현 학습을 위한 브랜치이고, 다른 하나는 작업별 분류를 위한 브랜치이다.
• VRL과 LB-SOINN 기반 메모리 재생을 결합하여 새로운 작업에 대한 학습을 안정화하면서도 이전 작업의 성능을 유지한다.
• VAE의 다변량 정규 prior를 활용하여 구조화되고 군집 가능성이 높은 은닉 표현을 유도함으로써 LB-SOINN의 토폴로지 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 새로운 유사도가 낮은 작업이 도입될 경우, 지속적 학습 프레임워크가 이전에 학습된 혐오 발언 분류 작업의 성능을 효과적으로 유지할 수 있는가?
• RQ2 VRL과 LB-SOINN 메모리 모듈의 조합이 EWC, GEM, RMR와 같은 표준 지속적 학습 기반 방법에 비해 재난적 기억 상실을 얼마나 효과적으로 완화하는가?
• RQ3 은닉 표현의 품질—특히 그 분포적 구조—는 메모리 기반 재생의 효과성에 영향을 미치는가?
• RQ4 순차적 학습에서 초기 작업의 성능이 심하게 저하되는 이유는 무엇이며, 이는 아키텍처나 사전 학습 조정을 통해 완화될 수 있는가?

주요 결과

• 제안된 VRL + LB-SOINN 방법은 EWC, GEM, RMR를 포함한 모든 기준 방법보다 유의미하게 높은 평균 F1 스코어를 달성하며, 작업 수가 증가할수록 그 성능 격차가 더욱 두드러진다.
• 다중 작업 학습보다 성능이 뛰어나, 혼합 작업에 대한 동시 학습보다 적절한 기억 상실 완화를 갖춘 순차적 학습이 더 효과적임을 시사한다.
• 초기 학습 단계에서 첫 번째 작업의 성능이 급격히 떨어지는데, 이는 VAE에서 재구성 손실 최적화가 충분하지 않기 때문이다. 그러나 작업 수가 증가함에 따라 이 격차는 빠르게 줄어든다.
• 메모리 표현에 대한 KL 발산 손실 항목($D_{KLmem}$)을 제거하면 작업 수가 증가함에 따라 성능 저하가 발생함을 확인하여, 이 항목이 지식 융합과 기억 상실 방지에 핵심적인 역할을 함을 입증한다.
• LB-SOINN는 VRL이 생성하는 구조화되고 가우시안 유사한 잠재 표현을 더 효과적으로 활용함으로써 메모리 효율성과 안정성 면에서 RMR를 능가한다.
• 작업 간 유사도가 낮은 경우에도 강건하게 작동함을 입증하였으며, 예를 들어 기독교 신념 집단의 경우 평균 재결합 지수(Jaccard Index)가 0.019로 매우 낮지만, 다양한 혐오 집단 이데올로지 간의 일반화 능력은 높다.