[논문 리뷰] Findings of the First Shared Task on Machine Translation Robustness

Xian Li, Paul Michel외 8명|arXiv (Cornell University)|2019. 06. 27.

Topic Modeling참고 문헌 31인용 수 9

한 줄 요약

이 논문은 영어-프랑스어 및 영어-일본어 번역 쌍에 대해 소셜 미디어의 노이즈가 있는 텍스트에서의 기계 번역의 내구성에 대한 첫 번째 공동 과제의 결과를 제시한다. 참가자들은 데이터 증강, 피지터링, 단일 언어 데이터를 사용하여 내구성을 향상시켰으며, 기준 모델 대비 최대 +22.33 BLEU의 성과를 기록했고, 인간 평가와 BLEU 간의 상관관계가 높았다 (r = 0.95).

ABSTRACT

We share the findings of the first shared task on improving robustness of Machine Translation (MT). The task provides a testbed representing challenges facing MT models deployed in the real world, and facilitates new approaches to improve models; robustness to noisy input and domain mismatch. We focus on two language pairs (English-French and English-Japanese), and the submitted systems are evaluated on a blind test set consisting of noisy comments on Reddit and professionally sourced translations. As a new task, we received 23 submissions by 11 participating teams from universities, companies, national labs, etc. All submitted systems achieved large improvements over baselines, with the best improvement having +22.33 BLEU. We evaluated submissions by both human judgment and automatic evaluation (BLEU), which shows high correlations (Pearson's r = 0.94 and 0.95). Furthermore, we conducted a qualitative analysis of the submitted systems using compare-mt, which revealed their salient differences in handling challenges in this task. Such analysis provides additional insights when there is occasional disagreement between human judgment and BLEU, e.g. systems better at producing colloquial expressions received higher score from human judgment.

연구 동기 및 목표

• 소셜 미디어 및 사용자 생성 콘텐츠에서 흔히 볼 수 있는 노이즈가 많은 비공식적인 입력에 취약한 신경 기계 번역(NMT) 모델의 문제를 다루기.
• 실제 운영 환경에서의 철자 변형, 문법 오류, 도메인 이동에 대한 내구성을 향상시키기.
• 모델 일반화 능력을 향상시키기 위해 도메인 외 평행 데이터와 대규모 단일 언어 웹 데이터의 효과적인 활용 탐색.
• 소셜 미디어 텍스트 번역의 핵심 과제를 체계적인 평가와 정성적 분석을 통해 규명하고 향후 연구를 안내하기.

제안 방법

• 영어-프랑스어 및 영어-일본어 방향성에 대해 노이즈가 있는 레딧 댓글과 전문 번역을 포함한 MTNT 데이터셋을 활용.
• 내부 도메인 단일 언어 데이터와 도메인 외 평행 데이터 사용을 장려하는 제약 조건이 있는 설정을 적용하여 내구성 향상.
• 데이터 정제, 도메인 인식 기반 학습, 데이터 증강(백트랜스레이션 및 자리표시자 태깅 포함), 내부 도메인 노이즈 데이터 기반 피지터링을 적용.
• 번역 품질과 내구성을 평가하기 위해 자동 평가(BLEU)와 인간 평가를 동시에 수행.
• 특정 노이즈 유형(예: 대소문자 변형, 특수 문자, 관용어 표현)에 대한 시스템 행동을 분석하기 위해 compare-mt를 활용한 정성적 분석 수행.
• 대문자 단어, 이모티콘, 문장 부호 이상 현상, 비공식 어조 등 특정 언어 현상에 대한 성능 평가 수행.

실험 결과

연구 질문

• RQ1 데이터 증강과 피지터링은 노이즈가 많고 비공식적인 소셜 미디어 텍스트에서 NMT의 내구성을 얼마나 향상시킬 수 있는가?
• RQ2 도메인 외 평행 데이터와 단일 언어 웹 데이터는 도메인 이동과 입력 노이즈를 완화하는 데 얼마나 효과적인가?
• RQ3 특수 문자, 대문자 단어, 관용어 표현 등 번역 품질을 떨어뜨리는 주요 언어적 과제는 무엇이며, 시스템은 이를 어떻게 다루는가?
• RQ4 노이즈에 대한 내구성 평가에서 BLEU와 같은 자동 평가 지표가 인간 판단과 얼마나 잘 관련되어 있는가?
• RQ5 실제 기계 번역 응용에서 다양한 노이즈 유형을 다루는 데 가장 큰 성과를 이룬 구체적인 기법은 무엇인가?

주요 결과

• 최고 성능을 낸 시스템은 기준 모델 대비 +22.33 BLEU 향상률을 기록하여 노이즈가 많은 입력에 대한 내구성 향상이 뚜렷하게 이루어졌음을 보여주었다.
• 인간 평가와 BLEU 간 높은 상관관계(피어슨의 r = 0.95)를 보이며, BLEU가 이 과제에 있어서 신뢰할 수 있는 자동 평가 지표로 유지됨을 시사한다.
• 특히 모든 대문자 단어를 정확히 번역하는 케이스 감지 기능을 유지한 시스템이 유의미하게 더 높은 성능을 보였으며, 이는 케이싱 별 F-측정치로도 확인되었다.
• 특수 문자 처리 방식은 다양하게 나타났다: NLE는 유니코드 이모티콘 처리에서 뛰어났고, NTT는 일본식 이모티콘 처리에서 유리함을 보이며 모델별 특수 강점을 보였다.
• 비표준 문장 부호 및 기호 조합(예: 복수의 별표)은 도전 과제로 작용했으며, 이러한 경우 NLE가 NTT보다 더 높은 내구성을 보였다.
• 관용어 표현은 핵심 차이점이었으며, NTT는 NLE보다 더 비공식적인 어조의 번역을 생성했고, 이는 내부 도메인 데이터 기반 피지터링이 입력의 공식성 수준과 출력 스타일을 일치시키는 데 도움이 된다는 것을 시사한다.