[논문 리뷰] Cyberbullying detection across social media platforms via platform-aware adversarial encoding

Peiling Yi, Arkaitz Zubiaga|arXiv (Cornell University)|2022. 04. 01.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 BERT와 RoBERTa의 임베딩을 다양한 소셜미디어 플랫폼 간에 적응형으로 정렬함으로써 교차 플랫폼 사이버불링 탐지 성능을 향상시키는 플랫폼 인식형 적대적 프레임워크인 XP-CB를 제안한다. 이는 적대적 훈련을 통해 구현되며, 여섯 가지 교차 플랫폼 설정에서 SOTA 성능을 달성하여 BERT 기반으로는 9%, RoBERTa 기반으로는 7%의 제로샷 전이 성능 향상을 기록한다.

ABSTRACT

Despite the increasing interest in cyberbullying detection, existing efforts have largely been limited to experiments on a single platform and their generalisability across different social media platforms have received less attention. We propose XP-CB, a novel cross-platform framework based on Transformers and adversarial learning. XP-CB can enhance a Transformer leveraging unlabelled data from the source and target platforms to come up with a common representation while preventing platform-specific training. To validate our proposed framework, we experiment on cyberbullying datasets from three different platforms through six cross-platform configurations, showing its effectiveness with both BERT and RoBERTa as the underlying Transformer models.

연구 동기 및 목표

• 기존 사이버불링 탐지 모델이 다양한 소셜미디어 플랫폼 간에 일반화 능력이 제한된 문제를 해결한다.
• Twitter, 위키백과, Formspring와 같은 플랫폼 간의 데이터 분포 이탈로 인한 성능 저하 문제를 완화한다.
• 라벨이 부여된 소스 플랫폼 데이터만을 사용하여 사이버불링 탐지 모델을 소스 플랫폼에서 타겟 플랫폼으로 제로샷 전이할 수 있는 프레임워크를 개발한다.
• 적대적 훈련과 다중 인코더 정렬을 통해 트랜스포머 기반 모델 간의 표현 정렬을 향상시킨다.
• 포스트 길이와 언어 스타일이 상이한 다양한 플랫폼 설정에서도 일관된 성능 향상을 입증한다.

제안 방법

• 소스 플랫폼과 타겟 플랫폼 입력을 공통 잠재 표현 공간에 매핑하기 위해 다중 트랜스포머 인코더 정렬 전략을 통합한다.
• 소스 플랫폼과 타겟 플랫폼 임베딩을 구분하는 적대적 디스criminator를 활용하여, 타겟 인코더가 도메인 불변 표현을 생성하도록 유도한다.
• 소스 도메인과 타겟 도메인 간의 적대적 적응을 위한 기반으로 ADDA(Adversarial Discriminant Domain Adaptation) 프레임워크를 사용한다.
• 도메인 이탈을 최소화하면서 사이버불링 탐지에 필요한 의미적 콘텐츠를 유지하기 위해 타겟 플랫폼 인코더를 적대적 손실을 기반으로 미세조정한다.
• 소스 플랫폼의 라벨이 부여된 데이터를 기반으로 공통 분류기를 훈련하고, 정렬된 표현을 사용해 타겟 플랫폼에 적용한다.
• 기본 인코더로 사전 훈련된 BERT와 RoBERTa를 활용하며, 추론 시 도메인 적응을 적용해 제로샷 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 한 소셜미디어 플랫폼에서 훈련된 단일 사이버불링 탐지 모델이 라벨이 없는 다른 플랫폼으로 효과적으로 일반화될 수 있는가?
• RQ2 플랫폼 특유의 언어적 및 구조적 차이로 인한 성능 저하를 줄이기 위해 적대적 도메인 적응이 얼마나 효과적인가?
• RQ3 기본적인 BERT와 RoBERTa 모델에 비해 XP-CB 프레임워크는 교차 플랫폼 이식성에서 얼마나 향상되는가?
• RQ4 짧은 포스트가 주를 이루는 트위터와 긴 포스트가 주를 이루는 위키백과 간의 차이가 심한 플랫폼 간 이식성에 영향을 미치는가?
• RQ5 XP-CB에서 학습된 표현은 교차 플랫폼 환경에서 표준 트랜스포머와 비교해 어떻게 시각적·의미적으로 다를까?

주요 결과

• XP-CB는 Formspring에서 Twitter로의 전이 시 기존 BERT보다 F1 점수에서 9%p 향상되었으며, 동일한 설정에서 RoBERTa보다 7%p 향상되었다.
• 여섯 가지 교차 플랫폼 설정의 평균 F1 점수는 A&A 모델의 0.235에서 XP-CB(RoBERTa 기반)의 0.693으로 상승하여 강력한 일반화 능력을 입증했다.
• t-SNE 시각화 결과 XP-CB 임베딩는 표준 BERT에 비해 더 명확한 클래스 분리와 더 낮은 도메인 이탈을 보이며 더 나은 표현 정렬을 나타냈다.
• 짧은 포스트가 주를 이루는 트위터와 다른 플랫폼 간의 전이보다, 더 긴 포스트를 포함하는 Formspring과 위키백과 간 전이에서 성능이 높게 나타나 길이가 이식성에 영향을 미칠 수 있음을 시사했다.
• XP-CB는 여섯 가지 교차 플랫폼 설정 전반에서 A&A 기반 베이스라인과 표준 BERT/RoBERTa 모델을 모두 뛰어넘는 일관된 성능 향상을 보이며, 그 견고성을 확인했다.
• 짧은 포스트가 주를 이루는 트위터에서 Formspring나 위키백과로의 전이에서도 강력한 성능 유지를 유지함으로써 데이터 분포 이탈에 대한 내성적 저항력을 입증했다.