[논문 리뷰] CALCS 2021 Shared Task: Machine Translation for Code-Switched Data

Shuguang Chen, Gustavo Aguilar외 3명|arXiv (Cornell University)|2022. 02. 19.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 코드 스위칭된 소셜 미디어 데이터에서 기계 번역(MT)을 위한 공동 과제를 소개하며, 영어 → 힌글리시, 영어 → 스팸글리시, 영어 → MSAEA-아랍어 쌍을 양방향으로 다룹니다. 정제된 데이터셋과 mBART 및 mT5를 사용한 베이스라인을 제시하며, 영어 → 힌글리시에서 12.67 BLEU, MSAEA → 영어에서 25.72 BLEU의 최신 성능 기록을 보고합니다. 코드 스위칭 MT에서 어법, 문법, 의미적 과제가 뚜렷하게 드러납니다.

ABSTRACT

To date, efforts in the code-switching literature have focused for the most part on language identification, POS, NER, and syntactic parsing. In this paper, we address machine translation for code-switched social media data. We create a community shared task. We provide two modalities for participation: supervised and unsupervised. For the supervised setting, participants are challenged to translate English into Hindi-English (Eng-Hinglish) in a single direction. For the unsupervised setting, we provide the following language pairs: English and Spanish-English (Eng-Spanglish), and English and Modern Standard Arabic-Egyptian Arabic (Eng-MSAEA) in both directions. We share insights and challenges in curating the "into" code-switching language evaluation data. Further, we provide baselines for all language pairs in the shared task. The leaderboard for the shared task comprises 12 individual system submissions corresponding to 5 different teams. The best performance achieved is 12.67% BLEU score for English to Hinglish and 25.72% BLEU score for MSAEA to English.

연구 동기 및 목표

• 코드 스위칭된 소셜 미디어 텍스트에 대한 표준화된 기계 번역 자원의 부족을 해결하기 위해, 특히 多어성, 비공식적인 환경에서의 번역을 목표로 합니다.
• 코드 스위칭 언어 쌍을 위한 MT 시스템의 평가 및 발전을 가능하게 하는 공동 커뮤니티 과제를 구축하기 위해.
• 불규칙한 어법과 문법적 모호성과 같은 언어학적 과제에 초점을 맞춘 고품질, 다양한 평가 데이터를 정제하기 위해.
• mBART 및 mT5와 같은 다국어 모델을 사용해 성능 기준을 설정하는 강력한 베이스라인을 제공하기 위해.
• 데이터 오버랩과 정규화가 평가 지표, 특히 BLEU 점수에 미치는 영향을 조사하기 위해.

제안 방법

• 과제는 지도 학습 및 비지도 학습 설정을 포함하며, 참가자들이 영어 단일 언어 텍스트를 힌글리시, 스파ング리시, MSAEA와 같은 코드 스위칭 언어로 번역합니다.
• 데이터셋은 기존의 CALCS 데이터셋을 확장하여 구성되었으며, 문장 내 코드 스위칭이 특징인 소셜 미디어 텍스트에 집중합니다.
• 베이스라인 시스템은 정제된 코드 스위칭 병렬 데이터에 대해 미세조정된 mBART 및 mT5를 사용하여 개발되었습니다.
• 평가에서는 BLEU 점수를 사용하였으며, 데이터 유출을 줄이기 위해 중복 토큰(예: 사용자 이름, URL, 이모티콘)을 제거하는 정규화 단계를 거쳤습니다.
• 오류 분석은 예측 결과의 수동 점검을 통해 수행되어 모델 출력에서 발생하는 어법 및 의미 오류를 식별했습니다.
• 순위표 결과는 5개 팀에서 온 12개 개별 시스템 제출을 바탕으로 하였으며, 여러 언어 쌍에 걸쳐 성능이 측정되었습니다.

실험 결과

연구 질문

• RQ1 단일 언어 소셜 미디어 텍스트를 코드 스위칭 언어로 번역할 때의 주요 언어학적 및 구조적 과제는 무엇인가요?
• RQ2 불규칙한 어법, 비표준 문법, 모호한 어휘 요소가 코드 스위칭 환경에서 MT 성능에 어떤 영향을 미치나요?
• RQ3 학습 및 테스트 세트 간의 데이터 오버랩이 코드 스위칭 MT 평가에서 BLEU 점수를 얼마나 과대평가하는가요?
• RQ4 mBART 및 mT5와 같은 다국어 사전 학습 모델은 커스터마이즈된 아키텍처에 비해 코드 스위칭 MT에서 어떤 성능을 보이나요?
• RQ5 최신 기술의 코드 스위칭 MT 시스템에서 주로 발생하는 오류 유형은 무엇인가요? 어법 오류인지 의미 오류인지요?

주요 결과

• 최고 성능을 기록한 시스템은 영어 → 힌글리시 번역 과제에서 12.67 BLEU 점수를 기록하여 베이스라인 시스템을 초월했습니다.
• MSAEA → 영어 방향에서는 최고의 시스템이 25.72 BLEU 점수를 기록하여 아랍어 코드 스위칭 쌍에서 더 높은 성능을 보였습니다.
• 입력을 그대로 출력하는 에코 시스템은 정규화 이전에 6.84 BLEU 점수를 기록했으나, 중복 토큰을 제거한 후 0.71 BLEU로 급격히 하락하여 데이터 유출 문제를 드러냈습니다.
• 정규화는 모든 시스템에서 BLEU 점수를 크게 낮추었으며, 점수 하락 폭은 0.43에서 6.13점까지 다양하여 데이터 오버랩이 성능 지표를 심하게 과대평가하고 있음을 시사합니다.
• 수동 오류 분석 결과, 어법 오류(예: 잘못된 어순, 대명사 오용)와 의미 오류(예: 부분적 또는 관련 없는 번역)가 주요 실패 원인으로 드러났습니다.
• 성능 격차가 존재하더라도, 트랜스포머 기반 모델인 mBART는 널리 채택되어 대부분의 최고 성능 시스템의 핵심을 차지했습니다.