[논문 리뷰] Simplify-then-Translate: Automatic Preprocessing for Black-Box Machine Translation

Sneha Mehta, Bahareh Azarnoush외 5명|arXiv (Cornell University)|2020. 05. 22.

Text Readability and Simplification참고 문헌 29인용 수 12

한 줄 요약

이 논문은 블랙박스 기계 번역(BBMT)을 저자원 언어 쌍에 대해 향상시키기 위해 문장 간소화를 통해 자동으로 소스 문장을 전처리하는 방법을 제안한다. 고자원 언어 쌍에서의 백트랜스레이션을 이용해 도메인 특화의 복수 문장 어휘 코퍼스를 생성하고, 이를 바탕으로 종단 간(end-to-end) 자동 전처리(APP) 모델을 훈련시켜 복잡하고 관용적인 영어 문장을 더 직역 친화적인 형태로 단순화한다. 이로 인해 BLEU 점수와 인간 평가에서 전처리되지 않은 입력에 비해 유의미한 향상이 이루어진다.

ABSTRACT

Black-box machine translation systems have proven incredibly useful for a variety of applications yet by design are hard to adapt, tune to a specific domain, or build on top of. In this work, we introduce a method to improve such systems via automatic pre-processing (APP) using sentence simplification. We first propose a method to automatically generate a large in-domain paraphrase corpus through back-translation with a black-box MT system, which is used to train a paraphrase model that "simplifies" the original sentence to be more conducive for translation. The model is used to preprocess source sentences of multiple low-resource language pairs. We show that this preprocessing leads to better translation performance as compared to non-preprocessed source sentences. We further perform side-by-side human evaluation to verify that translations of the simplified sentences are better than the original ones. Finally, we provide some guidance on recommended language pairs for generating the simplification model corpora by investigating the relationship between ease of translation of a language pair (as measured by BLEU) and quality of the resulting simplification model from back-translations of this language pair (as measured by SARI), and tie this into the downstream task of low-resource translation.

연구 동기 및 목표

• 정밀 조정이 불가능한 블랙박스 MT 시스템에서 저자원 기계 번역의 과제를 해결하기 위해.
• BBMT 시스템이 다루기 어려운 관용적이고 비조합적인 어휘 표현의 번역 품질을 향상시키기 위해.
• 백트랜스레이션으로부터 유도된 합성 병렬 코퍼스를 사용해 데이터 기반의 문장 간소화 모델을 훈련시키는 일반화 가능한 방법을 개발하기 위해.
• 후속 저자원 번역 작업에서 최적의 간소화 모델 품질을 얻기 위해 고자원 언어 쌍의 선택을 안내하기 위해.

제안 방법

• 고자원 대상 언어의 참조 번역문을 영어로 백트랜스레이션하여 합성 병렬 문장 쌍(소스: 단순화된 문장, 참조: 원본 복잡한 문장)을 생성한다.
• 합성 병렬 코퍼스에서 종단 간 시퀀스-투-시퀀스 모델(APP)을 훈련시켜 복잡한 소스 문장을 더 단순하고 조합적인 형태로 간소화하는 법을 학습한다.
• 훈련된 APP 모델을 블랙박스 MT 시스템에 입력하기 전에 소스 문장을 전처리하는 데 적용하여 의미를 유지하면서도 번역의 유창성을 향상시킨다.
• 소스 언어가 동일한 한계 내에서 여러 저자원 언어 쌍에 동일한 APP 모델을 적용함으로써 이식 가능성을 확보한다.
• 자동 평가 지표(BLEU, SARI), 측면 대비 인간 평가, 후처리 효율성 등을 사용해 성능을 평가한다.
• 고자원 언어 쌍의 번역 용이도(BLEU)와 그로 인한 간소화 모델 품질(SARI) 간의 관계를 분석하여 코퍼스 선택을 안내한다.

실험 결과

연구 질문

• RQ1 자동 전처리를 통한 문장 간소화가 저자원 언어 쌍의 블랙박스 MT 시스템에서 번역 품질을 향상시킬 수 있는가?
• RQ2 백트랜스레이션을 통해 훈련된 간소화 모델의 품질은 데이터 수집에 사용된 고자원 언어 쌍의 번역 용이도와 어떻게 상관관계가 있는가?
• RQ3 소스 문장을 단순화하면 인간 평가에서 더 나은 번역이 되고 후처리 노력이 줄어드는가?
• RQ4 어느 고자원 언어 쌍이 특정 대상 언어에 대해 가장 효과적인 간소화 모델을 제공하는가?

주요 결과

• APP 모델을 적용함으로써 블랙박스 번역 전에 소스 문장을 전처리하면 여러 저자원 언어 쌍에서 BLEU 점수가 유의미하게 향상된다.
• 측면 대비 인간 평가에서 단순화된 문장의 번역 결과가 원본 문장의 번역보다 유창성과 적합성 측면에서 더 높게 평가된다.
• 후처리 효율성이 향상되어 인간 후처리자가 단순화된 입력의 번역을 수정하는 데 더 적은 노력을 기울인다.
• 고자원 언어 쌍의 BLEU 점수와 그로 생성된 간소화 모델의 SARI 점수 사이에 강한 정적 상관관계가 존재함을 확인하여, 번역이 쉬운 언어 쌍가 더 나은 간소화 모델을 생성함을 시사한다.
• 소스 언어가 동일한 한계 내에서 여러 저자원 언어 쌍으로 일반화 가능하여 단일 APP 모델을 재사용할 수 있다.
• 병행 간소화 데이터가 필요 없이 백트랜스레이션으로부터 유도된 고자원 언어 쌍의 병렬 데이터만으로도 도메인 특화의 데이터 기반 간소화 모델을 구축할 수 있다.