[논문 리뷰] A Neighbourhood Framework for Resource-Lean Content Flagging

Sheikh Muhammad Sarwar, Dimitrina Zlatkova외 4명|arXiv (Cornell University)|2021. 03. 31.

Hate Speech and Cyberbullying Detection참고 문헌 40인용 수 5

한 줄 요약

이 논문은 자원이 적은 저자원 언어에서 폭력적 언어 탐지 성능을 햖थन하기 위해, 쿼리-이웃 상호작용 특징을 활용한 Transformer 기반 k-최근접 이웃 학습을 사용하는 새로운 자원 절약형 다국어 콘텐츠 플래깅 프레임워크인 $k$NN+를 제안한다. 새로운 레이블이 도입될 때 재학습 없이도 의미적 표현 공간에서 레이블 일치를 학습하여, 강력한 베이스라인 대비 최대 9.5 점의 절대 F1 향상을 달성한다.

ABSTRACT

We propose a novel framework for cross-lingual content flagging with limited target-language data, which significantly outperforms prior work in terms of predictive performance. The framework is based on a nearest-neighbour architecture. It is a modern instantiation of the vanilla k-nearest neighbour model, as we use Transformer representations in all its components. Our framework can adapt to new source-language instances, without the need to be retrained from scratch. Unlike prior work on neighbourhood-based approaches, we encode the neighbourhood information based on query--neighbour interactions. We propose two encoding schemes and we show their effectiveness using both qualitative and quantitative analysis. Our evaluation results on eight languages from two different datasets for abusive language detection show sizable improvements of up to 9.5 F1 points absolute (for Italian) over strong baselines. On average, we achieve 3.6 absolute F1 points of improvement for the three languages in the Jigsaw Multilingual dataset and 2.14 points for the WUL dataset.

연구 동기 및 목표

• 제한된 애너테이션 트레이닝 데이터를 가진 저자원 언어에서 폭력적 언어 탐지 문제를 해결하기 위해.
• 새로운 레이블이 도입될 때 모델 재학습이 필요 없이 고자원 언어에서 저자원 언어로 효과적인 다국어 전이를 가능하게 하기 위해.
• 히우리스틱 혼합 또는 순차적 피니어튜닝보다 더 체계적으로 소스 및 타겟 데이터셋 간의 관계를 모델링하기 위해.
• 동적 레이블 공간 적응을 지원하고 이웃의 영향을 통해 해석 가능한 예측을 제공하는 프레임워크를 개발하기 위해.

제안 방법

• 사전에 계산된 이웃 임베딩과 런타임 쿼리 인코딩을 위한 Transformer를 사용하는 k-최근접 이웃 아키텍처를 활용한다.
• 쿼리와 이웃 표현 간의 상호작용 특징을 계산하기 위해 크로스-엔코더 또는 바이-엔코더 아키텍처를 사용하여 쿼리-이웃 상호작용을 모델링한다.
• 자기주의 기반 메커니즘이 모든 이웃의 상호작용 특징을 통합하여 분류를 위한 맥락 인식 이웃 표현을 형성한다.
• 대비 레이블 손실($\mathcal{L}_{cll}$)과 레이블 일치 손실($\mathcal{L}_{lal}$)을 조합한 다중 작업 손실을 사용하여 의미적 유사성과 레이블 유사성을 정렬한다.
• 두 가지 변종을 제안한다: CE $k$NN+ (쿼리-이웃 입력을 연결한 형태)와 BE $k$NN+ (별도의 인코딩 방식), BE $k$NN+는 높은 효율성과 유사한 성능을 제공한다.
• 문장 임베딩을 위해 XLM-RoBERTa와 LaBSE를 활용하며, 재학습 없이도 새로운 레이블에 대한 점진적 적응을 지원한다.

실험 결과

연구 질문

• RQ1 학습된 쿼리-이웃 상호작용을 갖는 k-NN 기반 프레임워크가 저자원, 다국어 폭력적 언어 탐지에서 강력한 베이스라인을 능가할 수 있는가?
• RQ2 상호작용 특징을 통해 레이블 일치를 모델링할 경우, 표준 피니어튜닝 또는 데이터 혼합 접근 방식에 비해 성능 향상은 어느 정도 이루어지는가?
• RQ3 재학습 없이 소스 데이터셋의 새로운 레이블에 얼마나 잘 적응할 수 있는가?
• RQ4 바이-엔코더 변종은 다국어 환경에서 추론 효율성을 향상시키면서도 성능을 유지하는가?
• RQ5 학습된 표현 공간이 다양한 언어에서 플래그 처리된 콘텐츠와 비플래그 처리된 콘텐츠를 효과적으로 구분하는 데 얼마나 효과적인가?

주요 결과

• $k$NN+ 프레임워크는 이탈리아어에서 강력한 베이스라인 대비 최대 9.5 절대 F1 포인트 향상을 달성했으며, Jigsaw 다국어 데이터셋에서는 평균 3.6 F1 포인트 향상, WUL 데이터셋에서는 2.14 F1 포인트 향상했다.
• SRC 사전학습을 적용한 BE $k$NN+ 변종이 다국어 환경에서 CE $k$NN+ 변종보다 성능이 뛰어나며, 이는 훈련 데이터 크기가 더 크기 때문일 것이다.
• BE $k$NN+ 표현 공간을 사용해 이웃을 재정렬하면, 모든 k 값에서 LaBSE 임베딩보다 성능 향상이 이루어지며, F1 점수에 일관된 향상이 관찰된다.
• 모델은 잘못된 레이블을 가진 이웃에 대해 강건하며, 훈련 과정에서 이를 가중치를 낮추거나 거부하는 방식으로 학습한다.
• 레이블 일치 손실에 대한 최적의 다중 작업 손실 가중치 $\lambda$는 0.7이며, 이 값 이상으로 증가시킬 경우 성능이 저하된다.
• 학습된 표현 공간은 플래그 처리된 콘텐츠와 중립 콘텐츠를 효과적으로 분리하며, 플래그 처리된 예제와 중립 예제 간의 음의 코사인 유사도를 부여한다.