[논문 리뷰] Borrowing or Codeswitching? Annotating for Finer-Grained Distinctions in Language Mixing

Elena Alvarez Mellado, Constantine Lignos|arXiv (Cornell University)|2022. 06. 10.

Linguistics, Language Diversity, and Identity인용 수 5

한 줄 요약

이 논문은 스페인어-영어 혼합어 사용과 어휘 빌려쓰기 현상을 명시적인 지침을 통해 구분하는 토큰 수준의 주석 처리된 신규 트위터 코퍼스를 소개한다. mBERT와 BETO와 같은 트랜스포머 기반 모델을 사용하여 F1 스코어가 96.6를 초과하는 성능을 달성하였으며, 이는 세분화된 주석 처리가 소셜 미디어 텍스트 내 언어 혼합 현상을 더 잘 모델링할 수 있음을 보여준다.

ABSTRACT

We present a new corpus of Twitter data annotated for codeswitching and borrowing between Spanish and English. The corpus contains 9,500 tweets annotated at the token level with codeswitches, borrowings, and named entities. This corpus differs from prior corpora of codeswitching in that we attempt to clearly define and annotate the boundary between codeswitching and borrowing and do not treat common "internet-speak" ('lol', etc.) as codeswitching when used in an otherwise monolingual context. The result is a corpus that enables the study and modeling of Spanish-English borrowing and codeswitching on Twitter in one dataset. We present baseline scores for modeling the labels of this corpus using Transformer-based language models. The annotation itself is released with a CC BY 4.0 license, while the text it applies to is distributed in compliance with the Twitter terms of service.

연구 동기 및 목표

• 기존 혼합어 코퍼스에서 혼합어와 빌려쓰기 사이의 명확한 경계가 부족한 문제를 해결하기 위해.
• 어휘 빌려쓰기와 진정한 혼합어를 명시적으로 주석 처리하는 데이터셋을 구축하여, 인터넷 스트레스어를 혼합어로 잘못 분류하는 것을 방지하기 위해.
• 다국어 소셜 미디어 텍스트 내 세분화된 언어 혼합 현상에 대해 모델을 훈련하고 평가할 수 있는 자원을 제공하기 위해.
• 언어학적 기준에 기반해 혼합어와 빌려쓰기 사이의 경계를 명확히 하는 주석 지침을 수립하기 위해.
• 모ор포구문적 혼합어와 음소적·모르포로지적으로 적응된 빌려쓰기 현상을 분리함으로써 언어 혼합 현상에 대한 더 정확한 모델링을 가능하게 하기 위해.

제안 방법

• 혼합어, 빌려쓰기, 고유명사, 구두점, 기타 비언어적 토큰에 대한 레이블을 포함하여 총 9,500개의 트위터 트윗을 토큰 수준에서 주석 처리하였다.
• 혼합어를 두 언어의 문법에 부합하는 문장 내 혼합으로 정의하였으며, 빌려쓰기를 수신어 언어의 음소 및 형태론에 통합된 어휘 항목으로 정의하였다.
• 일반적인 인터넷 스트레스어(예: 'lol')는 혼합어 주석에서 제외하였으며, 이를 기존에 정착된 빌려쓰기 또는 소셜 미디어 어휘로 간주하였다.
• 기본 모델 평가를 위해 표준화된 80/10/10 훈련-검증-테스트 분할을 사용하였다.
• mBERT, BETO, RoBERTa-BNE, RoBERTa-Twitter의 네 가지 트랜스포머 기반 모델을 평가하였으며, Hugging Face Transformers 라이브러리를 사용하여 기본 초모수를 적용하였다.
• 모델 성능 평가를 위해 토큰 수준 분류 작업에 대해 마이크로 평균 정밀도, 재현도, F1 스코어를 적용하였다.

실험 결과

연구 질문

• RQ1 명시적인 주석 지침을 사용하여 다국어 소셜 미디어 텍스트 내 혼합어와 빌려쓰기를 어떻게 구분할 수 있는가?
• RQ2 기존 혼합어 코퍼스는 인터넷 스트레스어의 경우에 한하여 빌려쓰기를 진정한 혼합어와 혼동하는 정도가 어느 정도인가?
• RQ3 다양한 사전 훈련된 트랜스포머 모델은 혼합어와 빌려쓰기를 구분해야 하는 세분화된 작업에서 어떻게 성능을 보이는가?
• RQ4 모델 성능은 특히 혼합어 내 지역어 및 사회언어학적 다양성을 포괄하는 데 있어 훈련 데이터의 다양성과 상관관계가 있는가?
• RQ5 예를 들어 RoBERTa-Twitter와 같은 단일 언어 소셜 미디어 데이터로 훈련된 모델이 이 작업에서 다국어 또는 언어별 특화 모델을 능가할 수 있는가?

주요 결과

• mBERT와 BETO 모델은 각각 F1 스코어 96.65와 96.64를 기록하여 세분화된 혼합어 및 빌려쓰기 분류 작업에서 뛰어난 성능을 보였다.
• RoBERTa-BNE 모델은 더 큰 크기(135B 토큰)임에도 불구하고 BETO 및 mBERT에 비해 성능이 열등하여, 이 작업에서는 스케일보다 훈련 데이터의 다양성이 더 중요할 수 있음을 시사한다.
• 기본 F1 스코어 약 96.6은 LinCE 벤치마크에서 보고된 F1 98.53(예: mBERT 기준)보다 略로 낮은 편이지만, 빌려쓰기와 혼합어를 구분하는 데 추가적인 복잡성이 존재하기 때문일 것이다.
• 'lol'과 같은 인터넷 스트레스어를 혼합어 레이블에서 제외하고, 이를 정착된 빌려쓰기로 간주함으로써 더 언어학적으로 정확한 데이터셋이 되었으며, 진정한 이중어 현상을 더 잘 반영하게 되었다.
• 주석 체계는 빌려쓰기와 혼합어를 성공적으로 분리하였으며, 모델 성능과 언어학 이론과의 일관성으로부터 체계적 오분류의 증거가 없음을 확인하였다.
• 이 코퍼스는 CC BY 4.0 라이선스 하에 공개되어 NLP 연구에서 재사용이 가능하며, 원본 텍스트는 트위터의 이용 약관을 준수한다.