[논문 리뷰] Autocorrect in the Process of Translation -- Multi-task Learning Improves Dialogue Machine Translation

Tao Wang, Chengqi Zhao외 3명|arXiv (Cornell University)|2021. 03. 30.

Natural Language Processing Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 대화 번역 중 수동성, 문장 부호 누락, 대화 특화 철자 오류를 동시에 탐지하고 수정하는 다중 작업 학습 프레임워크인 MTLdial을 제안한다. 맥락 기반 레이블링과 공동 학습을 활용하여, 새로 구축한 1,931개의 주석이 붙은 중국어-영어 기준 데이터셋에서 번역 품질을 3.2 BLEU 향상시키고, 대명사 복구 정확도를 26.09%에서 47.16%로 높였다.

ABSTRACT

Automatic translation of dialogue texts is a much needed demand in many real life scenarios. However, the currently existing neural machine translation delivers unsatisfying results. In this paper, we conduct a deep analysis of a dialogue corpus and summarize three major issues on dialogue translation, including pronoun dropping (\droppro), punctuation dropping (\droppun), and typos ( ypo). In response to these challenges, we propose a joint learning method to identify omission and typo, and utilize context to translate dialogue utterances. To properly evaluate the performance, we propose a manually annotated dataset with 1,931 Chinese-English parallel utterances from 300 dialogues as a benchmark testbed for dialogue translation. Our experiments show that the proposed method improves translation quality by 3.2 BLEU over the baselines. It also elevates the recovery rate of omitted pronouns from 26.09% to 47.16%. We will publish the code and dataset publicly at https://github.com/rgwt123/DialogueMT.

연구 동기 및 목표

• 대화 번역에서 발생하는 세 가지 주요 과제인 대명사 누락(ProDrop), 문장 부호 누락(PunDrop), 대화 특화 철자 오류(DialTypo)를 식별하고 해결하기 위해.
• 번역 중 입력 노이즈를 보정하는 맥락 기반 다중 작업 학습 모델을 개발하여 정확성과 내성 강도를 향상시키기 위해.
• 300개 대화(1,931개 발화)로 구성된 고품질 수동 주석 기반 중국어-영어 테스트 세트를 구축하여 대화 번역 평가의 기준으로 삼기 위해.
• 자동 평가 지표(BLEU)와 복구 성능에 대한 세부 오류 분석을 통해 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 공동으로 번역, 대명사 복구, 문장 부호 복원, 철자 오류 수정을 수행하는 다중 작업 학습 모델인 MTLdial을 제안하며, 공유 맥락 표현을 사용한다.
• 모델가 입력을 번역하는 동안 노이즈 제거를 유도하기 위해 명시적 지도 신호를 포함한 맥락 기반 레이블링을 도입한다.
• 이중 병렬 문장 자료에서 파생된 서브문서를 활용해 문장 간 맥락 학습을 가능하게 하여 맥락 인식 능력을 향상시킨다.
• 세 가지 강력한 백본 모델을 설계: REPAIRdial(수리 기반), ROBUSTdial(내성 학습 기반), 표준 NMT 백본(BASE).
• 모델 일반화 능력을 향상시키기 위해 합성 노이즈(예: 대명사 및 문장 부호 누락, 철자 오류)를 활용한 데이터 증강 기법을 적용한다.
• 번역, ProDrop, PunDrop, DialTypo 탐지에 대해 전용 헤드를 갖춘 공유 인코더-디코더 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 대화 설정에서 대명사 누락, 문장 부호 누락, 대화 특화 철자 오류는 신경 기계 번역 품질에 어떤 영향을 미치는가?
• RQ2 맥락 기반 레이블링을 통한 공동 다중 작업 학습은 노이즈가 있는 대화 입력에서 번역 품질 향상과 오류 복구 능력을 향상시킬 수 있는가?
• RQ3 합성 노이즈로 훈련된 모델이 자연스러운 입력 오류를 포함한 실제 대화 번역에 얼마나 잘 일반화되는가?
• RQ4 BLEU 점수와 오류 복구 비율 측면에서 제안된 MTLdial 프레임워크는 강력한 백본 모델들과 비교해 어떤가?
• RQ5 대명사 복구의 실패 원인과 일반적인 오류 패턴은 무엇이며, 맥락 모델링과 어떤 관련이 있는가?

주요 결과

• 제안된 MTLdial 모델은 새로운 기준 테스트 세트에서 강력한 백본 모델 대비 3.2 BLEU 점수 향상으로 번역 품질을 향상시켰다.
• 모델은 누락된 대명사의 복구 비율을 26.09%에서 47.16%로 높여 ProDrop 처리 능력 향상을 뚜렷이 보여주었다.
• 테스트 세트에서 ProDrop의 F1은 48.6%, PunDrop는 92.1%, DialTypo는 45.2%를 기록했으며, 후자는 실제 철자 오류의 낮은 재현율로 인해 가장 큰 하락을 보였다.
• 빈도가 높은 대명사인 'I'와 'you'의 복구가 가장 효과적이지만, 성능은 여전히 50% 이하로 머물러 있어 맥락 모델링의 과제를 드러낸다.
• 오류 분석 결과, 특히 이전 발화에서의 맥락 파악 실패가 복구 실패의 주요 원인임을 확인했다.
• 자동 평가 지표와 오류 복구 성능 모두에서 REPAIRdial 및 ROBUSTdial 백본 모델을 뛰어넘어 공동 다중 작업 학습의 효과성을 입증했다.