[논문 리뷰] QCRI Machine Translation Systems for IWSLT 16

Nadir Durrani, Fahim Dalvi외 2명|arXiv (Cornell University)|2017. 01. 14.

Natural Language Processing Techniques참고 문헌 28인용 수 20

한 줄 요약

이 논문은 IWSLT 2016 아랍어-영어 및 영어-아랍어 번역 과제를 위한 QCRI의 어휘 기반 및 신경 기계 번역(NMT) 시스템을 제시한다. NMT 시스템은 UN, OPUS 및 도메인 내 TED/QED 데이터를 바탕으로 점진적 미세조정을 통해 훈련되었으며, 8개 모델의 앙상블을 구성하여, 아랍어→영어 방향에서 강력한 어휘 기반 시스템보다 2 BLEU 포인트 높은 성능을 기록하였다. 이는 효과적인 도메인 적응 기술을 활용한 저자원, 다중 도메인 환경에서 NMT의 우월성을 입증한다.

ABSTRACT

This paper describes QCRI's machine translation systems for the IWSLT 2016 evaluation campaign. We participated in the Arabic->English and English->Arabic tracks. We built both Phrase-based and Neural machine translation models, in an effort to probe whether the newly emerged NMT framework surpasses the traditional phrase-based systems in Arabic-English language pairs. We trained a very strong phrase-based system including, a big language model, the Operation Sequence Model, Neural Network Joint Model and Class-based models along with different domain adaptation techniques such as MML filtering, mixture modeling and using fine tuning over NNJM model. However, a Neural MT system, trained by stacking data from different genres through fine-tuning, and applying ensemble over 8 models, beat our very strong phrase-based system by a significant 2 BLEU points margin in Arabic->English direction. We did not obtain similar gains in the other direction but were still able to outperform the phrase-based system. We also applied system combination on phrase-based and NMT outputs.

연구 동기 및 목표

• 신경 기계 번역(NMT)이 저자원 아랍어-영어 번역 환경에서 어휘 기반 MT를 능가하는지 평가하는 것.
• 제한된 도메인 내 데이터(예: TED 강연)를 가진 다중 도메인 MT에서 효과적인 도메인 적응 전략을 탐구하는 것.
• 실제 다중 소스 데이터 환경에서 어휘 기반 및 NMT 시스템의 효과성과 훈련 복잡성 간의 비교.
• 번역 성능 향상을 위한 데이터 필터링, 모델 조합 및 미세조정 기법 탐색, 특히 저자원 언어 쌍에 초점

제안 방법

• 고급 기능을 갖춘 Moses 툴킷을 사용하여 강력한 어휘 기반 MT 시스템을 훈련: OSM, NNJM, 클래스 기반 모델, 대규모 언어 모델.
• MML 기반 데이터 필터링을 적용하여 관련 있는 도메인 내 및 도메인 외 데이터를 선별, 대규모 UN 및 OPUS 코퍼스의 노이즈 감소.
• 도메인 외 데이터에서 훈련된 NNJM 모델을 도메인 내 TED 데이터로 추가로 미세조정하여 도메인 적응 향상.
• 양방향 LSTM(1024 유닛), 500차원 단어 임베딩, 미세조정 시 드롭아웃을 사용한 Nematus 툴킷 기반 신경 MT 시스템 구축.
• NMT 시스템을 점진적으로 훈련: 먼저 UN 데이터에서, 그 다음 OPUS에서, 마지막으로 도메인 내 TED 및 QED 데이터에서 미세조정.
• OPUS 단계에서 마지막 여덟 모델을 도메인 내 데이터로 미세조정하여 8개의 NMT 모델 앙상블을 구성, 성능 및 내구성 향상.

실험 결과

연구 질문

• RQ1 제한된 도메인 내 데이터를 가진 아랍어-영어 번역 과제에서 신경 기계 번역(NMT)이 어휘 기반 번역을 능가하는가?
• RQ2 다중 도메인 환경에서 NMT 시스템에 대한 점진적 사전 훈련 및 미세조정 전략의 효과성은 어떠한가?
• RQ3 데이터 필터링(예: MML)은 노이즈가 많은 도메인 외 데이터에서 어휘 기반 MT 성능 향상에 어떤 역할을 하는가?
• RQ4 어휘 기반 및 NMT 시스템의 시스템 조합이 번역 품질 향상에 상당한 기여를 할 수 있는가?
• RQ5 새로운 도메인에 적응할 때 NMT 시스템의 복잡성과 재사용성은 어휘 기반 시스템과 비교해 어떻게 되는가?

주요 결과

• 아랍어→영어 방향에서 NMT 시스템은 어휘 기반 시스템보다 2 BLEU 포인트 높은 성능을 기록하여 공식 테스트 세트에서 34.6 BLEU를 달성하였다.
• 영어→아랍어 방향에서는 NMT 시스템이 어휘 기반 시스템보다 1.8 BLEU 포인트 높은 성능을 기록하여 공식 테스트 세트에서 18.5 BLEU를 달성하였다.
• 여덟 개의 미세조정된 NMT 모델 앙상블은 TED 테스트 세트에서 평균 BLEU 점수를 33.7에서 34.6으로 끌어올려 최고의 성능을 기록하였다.
• UN 및 OPUS 데이터에서 사전 훈련한 후, 도메인 내 TED 데이터로 NMT 모델을 미세조정하는 것이 성능 향상에 결정적이었으며, 특히 아랍어→영어 방향에서 두드러졌다.
• MEMT를 사용한 시스템 조합은 아랍어→영어에서는 미미한 성능 향상을, 영어→아랍어에서는 보다 명확한 향상을 보였지만, 전체 성능 향상에 큰 기여를 하지 못했다.
• NMT 시스템은 QED와 같은 새로운 도메인에 대해 미세조정을 통해 쉽게 적응할 수 있었지만, 어휘 기반 시스템은 도메인 적응을 위해 모든 구성 요소를 다시 훈련해야 했다.