[논문 리뷰] A New Generation of Perspective API: Efficient Multilingual Character-level Transformers

Alyssa Lees, Vinh Q. Tran외 5명|arXiv (Cornell University)|2022. 02. 22.

Hate Speech and Cyberbullying Detection인용 수 8

한 줄 요약

이 논문은 학습 가능한 토크나이저와 CharFormer 아키텍처를 사용하는 다국어, 문자 수준의 Transformer 모델인 통합 독성 콘텐츠 분류기(UTC)를 소개한다. 이는 다양한 언어와 폭력적 언어 패턴에서 효율적이고 생산 환경에서 사용 가능한 독성 콘텐츠 탐지 기능을 제공한다. UTC는 다국어 벤치마크에서 다국어 BERT나 mT5와 같은 강력한 기준 모델을 능가하며, 파rameter 효율성이 10배 뛰어나고 코드 스위칭, 왜곡, 이모지 기반 독성에 대해 더 강건하다.

ABSTRACT

On the world wide web, toxic content detectors are a crucial line of defense against potentially hateful and offensive messages. As such, building highly effective classifiers that enable a safer internet is an important research area. Moreover, the web is a highly multilingual, cross-cultural community that develops its own lingo over time. As such, it is crucial to develop models that are effective across a diverse range of languages, usages, and styles. In this paper, we present the fundamentals behind the next version of the Perspective API from Google Jigsaw. At the heart of the approach is a single multilingual token-free Charformer model that is applicable across a range of languages, domains, and tasks. We demonstrate that by forgoing static vocabularies, we gain flexibility across a variety of settings. We additionally outline the techniques employed to make such a byte-level model efficient and feasible for productionization. Through extensive experiments on multilingual toxic comment classification benchmarks derived from real API traffic and evaluation on an array of code-switching, covert toxicity, emoji-based hate, human-readable obfuscation, distribution shift, and bias evaluation settings, we show that our proposed approach outperforms strong baselines. Finally, we present our findings from deploying this system in production.

연구 동기 및 목표

• 다양한 언어, 도메인, 폭력적 언어 패턴에서 효과적으로 작동하는 통합형 다국어 독성 콘텐츠 분류기 개발
• 코드 스위칭, 왜곡, 다국어 일반화 문제를 다루는 데 어려움을 겪는 단일 언어 및 서브워드 기반 모델의 한계를 극복하기 위해
• 정적 어휘를 제거하고 하드웨어 가속을 최적화함으로써 생산 환경에서 문자 수준 모델의 효율적이고 저지연 추론을 가능하게 하기 위해
• 다양한 단일 언어 모델을 하나의 언어에 관계없는 아키텍처로 대체함으로써 모델 유지보수 오버헤드를 줄이기 위해
• 은폐된 독성, 철자 실수, 이모지 기반 혐오 표현에 대해 강건성을 향상시키면서도 언어 간 공정성을 유지하기 위해

제안 방법

• 학습 가능한 토크나이저를 CharFormer 아키텍처에 통합하여 정적 어휘가 필요 없고, 엔드 투 엔드로 미분 가능한 토크나이징을 가능하게 한다.
• 다양한 포럼과 플랫폼의 다국어 사용자 생성 콘텐츠에서 시퀀스-투-시퀀스 노이즈 제거 사전 학습 목표를 사용한다.
• 공유된 인코더-디코더 아키텍처를 가진 재구성 가능한 시퀀스-투-시퀀스 Transformer를 활용하여 추론 효율성을 최적화한다.
• 피니튜닝 중 디코더를 제거하여 시퀀스 길이와 깊이를 반으로 줄여 계산 비용과 지연을 감소시킨다.
• 모델은 바이트 수준에서 학습 및 배포되어 철자 실수, 이모지, 왜곡에 강건하며 재토크나이징 없이도 된다.
• CharFormer의 글로벌 어텐션 메커니즘을 통해 학습 가능한 글로벌 풀링을 통해 시퀀스 길이를 줄여 TPU 하드웨어에서 더 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일괄적인 다국어, 문자 수준의 Transformer 모델이 다양한 언어와 폭력적 언어 패턴에서 서브워드 기반 모델을 능가할 수 있는가?
• RQ2 정적 서브워드 토크나이징 대비 어휘 없는 학습 가능한 토크나이저가 코드 스위칭, 왜곡, 이모지 기반 독성에 대해 강건성을 향상시키는가?
• RQ3 바이트 수준의 모델이 실시간 생산 환경에서 저지연 API 설정에서 효율적이고 확장 가능한가?
• RQ4 통합 모델이 단일 언어 또는 다국어 BERT 스타일 모델 대비 다국어 간 편향을 줄이고 공정성을 향상시키는가?
• RQ5 피니튜닝 없이도 분포 변화나 자원이 적은 언어 환경에서 효과적으로 일반화할 수 있는가?

주요 결과

• UTC는 은폐된 독성 벤치마크에서 AUC-ROC 0.607을 기록하여 최고의 기준 모델(mT5 base)보다 0.008 AUC 높였다.
• HatemojiCheck 벤치마크에서 정확도 90.8%와 F1 점수 93.3%를 기록하여 이전 최고 성능 모델보다 정확도에서 3.0% 포인트 높였다.
• 102M 파라미터를 가진 UTC 모델은 피니튜닝 중 64개의 TPUv3 코어에서 초당 32.9단계의 속도를 기록하여 크기가 10배 작은 모델임에도 불구하고 더 빠른 성능을 보였다.
• 생산 환경에서 10개의 새로운 언어에 대해 중앙값 지연 200ms, 15 QPS를 달성했으며, 배치 처리 시 단일 TPUv2에서 중앙값 지연 45ms, 1K QPS를 기록했다.
• UTC는 코드 스위칭, 이모지 기반 혐오, 왜곡된 텍스트에 대해 강력한 강건성을 보였으며, 이러한 어려운 환경에서 기준 모델 대비 일관된 성능 향상을 보였다.
• UTC는 아랍어, 중국어, 체코어, 네덜란드어, 인도네시아어, 일본어, 한국어, 폴란드어, 힌두어, 히ング리시 등 10개의 새로운 언어에 성공적으로 도입되었으며, 이는 Perspective API에서 이들 언어가 생산 수준 기준을 충족한 최초의 사례이다.