[논문 리뷰] The University of Edinburgh's Neural MT Systems for WMT17

Rico Sennrich, Alexandra Birch외 6명|arXiv (Cornell University)|2017. 08. 02.

Natural Language Processing Techniques인용 수 23

한 줄 요약

이 논문은 WMT17 공동 과제의 뉴스 및 생물의학 번역 분야에서 에든버러 대학교의 신경 기계 번역 시스템을 제시한다. 이 시스템들은 깊이 있는 아키텍처, 레이어 정규화, 가중치 묶음, 그리고 백트랜슬레이션을 통한 단어별 데이터를 활용한 BPE 분할을 사용하여, 이전 시스템 대비 2.2–5 BLEU 향상률을 기록하고 12개의 뉴스 번역 방향 중 11개에서 공동 1위로 랭킹되었다.

ABSTRACT

This paper describes the University of Edinburgh's submissions to the WMT17 shared news translation and biomedical translation tasks. We participated in 12 translation directions for news, translating between English and Czech, German, Latvian, Russian, Turkish and Chinese. For the biomedical task we submitted systems for English to Czech, German, Polish and Romanian. Our systems are neural machine translation systems trained with Nematus, an attentional encoder-decoder. We follow our setup from last year and build BPE-based models with parallel and back-translated monolingual training data. Novelties this year include the use of deep architectures, layer normalization, and more compact models due to weight tying and improvements in BPE segmentations. We perform extensive ablative experiments, reporting on the effectivenes of layer normalization, deep architectures, and different ensembling techniques.

연구 동기 및 목표

• WMT17 공동 뉴스 및 생물의학 번역 과제를 위한 강력한 신경 기계 번역 시스템을 개발하기 위해.
• 더 깊은 모델과 레이어 정규화와 같은 아키텍처 혁신을 통해 번역 품질을 향상시키기 위해.
• BPE 필터링, 가중치 묶음, 최적화된 훈련을 통해 모델 크기를 줄이고 효율성을 향상시키기 위해.
• 저자원 및 생물의학 설정에서 앙상블, 재순서 정렬, 도메인 적응의 효과를 평가하기 위해.

제안 방법

• 주의 메커니즘을 사용한 Nematus를 활용해 시퀀스-투-시퀀스 신경 기계 번역 모델을 훈련시켰다.
• 어휘 단위를 줄이고 어휘를 압축하기 위해 필터링을 적용한 공동 바이트-페어 인코딩(BPE)을 적용하였다.
• 훈련 안정성 향상과 수렴 개선을 위해 모든 순환 및 피드포워드 레이어에 레이어 정규화를 적용하였다.
• 더 빠르고 안정적인 훈련을 위해 adadelta 대신 Adam 최적화 기법을 사용하였다.
• 표현 능력을 향상시키기 위해 깊이 있는 전이 및 스택드 RNN 아키텍처를 구현하였다.
• 백트랜슬레이션을 통한 단일 언어 데이터 통합 및 도메인 특화 생물의학 데이터로의 미세 조정을 통해 도메인 적응을 구현하였다.

실험 결과

연구 질문

• RQ1 더 깊은 아키텍처와 레이어 정규화는 다양한 언어 쌍에서 NMT 성능에 어떤 영향을 미치는가?
• RQ2 BPE 필터링과 가중치 묶음은 모델 효율성과 강건성에 얼마나 기여하는가?
• RQ3 앙상블 전략(체크포인트 vs. 독립형)은 번역 품질에 어떤 영향을 미치는가?
• RQ4 생물의학 번역에서 합성 및 백트랜슬레이션된 단일 언어 데이터를 활용한 도메인 적응은 얼마나 효과적인가?
• RQ5 아키텍처 개선은 데이터 및 하이퍼파라미터 변경 대비 BLEU 향상에 비해 어떤가?

주요 결과

• 레이어 정규화와 더 깊은 모델은 2016년 기준 대비 6개 언어 쌍에서 일관된 BLEU 향상(1.5–3)을 이끌어냈다.
• 필터링된 BPE 분할을 사용함으로써 어휘 크기를 최대 37%까지 줄일 수 있었으며(예: EN→DE에서 80,581에서 51,092로), 시퀀스 길이에 미치는 영향은 최소한이었다.
• 체크포인트 앙상블은 단일 모델 대비 성능 향상을 보였지만, 독립형 앙상블이 항상 더 우수했다.
• 오른쪽에서 왼쪽으로의 재순서 정렬은 0–1 BLEU 향상률을 기록했으며, 2016년 대비 약간 감소한 것으로 나타났다. 이는 더 강력한 단일 모델 덕분이었다.
• 도메인 특화 데이터로의 미세 조정을 통해 EN→PL에서 최대 2.3점, EN→RO에서 1.1점의 BLEU 점수 향상을 기록했지만, NHS24에서는 앙상블의 변동성이 관찰되었다.
• 제약 조건이 있는 제출물 중에서, 12개의 뉴스 번역 방향 중 11개에서 공동 1위를 기록했고, 모든 생물의학 과제에서 최고의 BLEU 점수를 기록했다.