[논문 리뷰] The Impact of Preprocessing on Arabic-English Statistical and Neural Machine Translation

Mai Oudah, Amjad Almahairi외 1명|arXiv (Cornell University)|2019. 06. 27.

Natural Language Processing Techniques참고 문헌 24인용 수 28

한 줄 요약

이 논문은 아랍어-영어 통계적 기계 번역(SMT) 및 신경 기계 번역(NMT)에서 전처리, 특히 토큰화의 영향을 조사한다. 형태학 기반(예: 펜 아랍어 트리뱅크)과 빈도 기반(BPE) 토큰화를 비교하여, BPE가 작은 어휘 크기에서도 SMT 성능을 향상시키며, NMT는 데이터 크기에 매우 민감함을 발견한다. 주요 기여는 SMT와 NMT 출력을 조합함으로써 번역 품질을 크게 향상시키는 길이 기반 시스템 선택 방법으로, 도메인 내 데이터에서 이전 작업보다 +4 BLEU 포인트를 초월한다.

ABSTRACT

Neural networks have become the state-of-the-art approach for machine translation (MT) in many languages. While linguistically-motivated tokenization techniques were shown to have significant effects on the performance of statistical MT, it remains unclear if those techniques are well suited for neural MT. In this paper, we systematically compare neural and statistical MT models for Arabic-English translation on data preprecossed by various prominent tokenization schemes. Furthermore, we consider a range of data and vocabulary sizes and compare their effect on both approaches. Our empirical results show that the best choice of tokenization scheme is largely based on the type of model and the size of data. We also show that we can gain significant improvements using a system selection that combines the output from neural and statistical MT.

연구 동기 및 목표

• 다양한 전처리 기법, 특히 토큰화 체계가 SMT 및 NMT에서 아랍어-영어 기계 번역 성능에 미치는 영향을 평가하는 것.
• 학습 곡선 분석을 통해 데이터 크기와 토큰화 선택 간의 상호작용을 조사하는 것.
• 번역 품질 향상에 있어 형태학 기반(예: ATB)과 빈도 기반(BPE) 토큰화의 효과를 평가하는 것.
• 긴 문장이나 복잡한 문장에 대해 특히 강건성을 높이기 위해 SMT와 NMT 출력을 조합하는 시스템 선택 전략을 탐색하는 것.
• 도메인 내 아랍어-영어 번역 벤치마크에서 이전 최고 성능 결과를 크게 뛰어넘는 것.

제안 방법

• 다양한 전처리 체계를 비교한다: 원본 토큰화, 펜 아랍어 트리뱅크(ATB) 토큰화, 결합형 태깅(D3), 바이트-페어 인코딩(BPE).
• 학습 데이터 크기를 점진적으로 증가시키는 학습 곡선 실험을 수행하며, D3 체계에 기반한 문장 필터링을 통해 토큰화 유형 간 일관된 입력 길이를 확보한다.
• NMT에서는 아랍어와 영어 양방향으로 사전 학습된 다국어 단어 임베딩을 사용하여, 영어 전용 임베딩 대비 2 BLEU 포인트 성능 향상을 달성한다.
• 입력 문장 길이에 기반한 시스템 선택을 구현하여, 소스 입력 길이에 더 가까운 출력을 SMT 또는 NMT 중에서 선택한다.
• 오라클 시스템 선택을 사용하여 상한선을 확보하며, 각 테스트 예제에서 SMT 또는 NMT 중 BLEU 점수가 높은 것을 선택한다.
• 일반화성과 강건성을 평가하기 위해 도메인 내(MT05) 및 도메인 외(MT12) 테스트 세트에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 형태학 기반(예: ATB)과 빈도 기반(BPE) 토큰화 체계가 아랍어-영어 번역에서 SMT 및 NMT 성능에 미치는 영향은 어떠한가?
• RQ2 SMT 및 NMT에서 학습 데이터 크기와 토큰화 체계 선택 간의 상호작용은 어떻게 나타나는가?
• RQ3 입력-출력 길이 일치 기반의 시스템 선택이 SMT 및 NMT의 번역 품질 향상에 얼마나 기여하는가?
• RQ4 길이 기반 선택을 통해 SMT와 NMT 출력을 조합하면 도메인 내 및 도메인 외 테스트 세트에서 개별 시스템을 뛰어넘을 수 있는가?
• RQ5 사전 학습된 다국어 단어 임베딩은 아랍어-영어 번역에서 NMT 성능에 어떤 영향을 미치는가?

주요 결과

• BPE는 SMT 성능을 크게 향상시키며, 어휘 크기가 20K인 작은 크기에서도 강력한 성능을 기록하며, SMT에서 다른 체계보다 뛰어나다.
• NMT 성능은 학습 데이터 크기에 매우 민감하며, 긴 문장에서 성능 저하가 뚜렷하게 나타난다.
• 가장 우수한 NMT 모델(ATO 토큰화 사용)은 도메인 외 테스트 데이터(MT12)에서 가장 우수한 SMT 모델(ATB+BPE 사용)보다 1.5 BLEU 포인트 높은 성능을 기록한다.
• 길이 기반 시스템 선택은 SMT 및 NMT 성능을 모두 향상시키며, 도메인 외 데이터에서 뚜렷한 향상이 나타나 하이브리드 기계 번역 시스템의 가치를 입증한다.
• 아랍어와 영어 양방향 사전 학습된 단어 임베딩을 사용하면, 영어 전용 임베딩 대비 NMT 성능이 2 BLEU 포인트 향상된다.
• 제안된 시스템은 도메인 내 MT05 테스트 세트에서 이전 작업보다 +4 BLEU 포인트 향상되어 이전 결과를 크게 뛰어넘는다.