[논문 리뷰] Adam Mickiewicz University at WMT 2022: NER-Assisted and Quality-Aware Neural Machine Translation

Artur Nowakowski, Gabriela Pałka외 2명|arXiv (Cornell University)|2022. 09. 07.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 네이티브 언어 인식(NER) 보조 소스 팩터, 노이즈가 섞인 역번역, 문서 수준 모델링, 모델 앙상블, 그리고 최소 베이즈 리스크 재정렬 기반의 품질 인식 디코딩을 활용하여, 투르크어↔체코어 간 저자원 신경 기계 번역(NMT) 시스템을 제안한다. 이 시스템은 WMT 2022 공동 과제 테스트 세트에서 두 방향 모두에서 최고 성능을 기록한 COMET 점수를 달성하였다.

ABSTRACT

This paper presents Adam Mickiewicz University's (AMU) submissions to the constrained track of the WMT 2022 General MT Task. We participated in the Ukrainian $\leftrightarrow$ Czech translation directions. The systems are a weighted ensemble of four models based on the Transformer (big) architecture. The models use source factors to utilize the information about named entities present in the input. Each of the models in the ensemble was trained using only the data provided by the shared task organizers. A noisy back-translation technique was used to augment the training corpora. One of the models in the ensemble is a document-level model, trained on parallel and synthetic longer sequences. During the sentence-level decoding process, the ensemble generated the n-best list. The n-best list was merged with the n-best list generated by a single document-level model which translated multiple sentences at a time. Finally, existing quality estimation models and minimum Bayes risk decoding were used to rerank the n-best list so that the best hypothesis was chosen according to the COMET evaluation metric. According to the automatic evaluation results, our systems rank first in both translation directions.

연구 동기 및 목표

• 근연어인 투르크어와 체코어 간 저자원 신경 기계 번역 문제를 해결하기 위해.
• 소스 입력에 이름 있는 엔터티 인식(NER) 정보를 소스 팩터를 통해 통합하여 번역 품질을 향상시키기 위해.
• 단일 언어 코퍼스를 활용한 노이즈가 섞인 역번역을 통한 데이터 증강을 통해 저자원 번역을 향상시키기 위해.
• 더 긴 시퀀스에서 학습된 문서 수준 모델을 통해 일관성과 통일성을 향상시키기 위해.
• 문장 수준 앙상블과 문서 수준 모델의 n-best 목록을 조합하고, COMET 기반 재정렬을 통해 출력 품질을 최적화하기 위해.

제안 방법

• 각각 32,000개의 서어 단위를 가진 별도의 소스 및 타겟 어휘를 사용하여, 네 개의 트랜스포머(빅) 모델을 학습시켰다.
• 사전에 훈련된 NER 모델을 사용하여 입력 텍스트에서 NER 소스 팩터(연결 또는 합산)를 적용하여 명시적 엔터티 번역을 향상시켰다.
• Gumbel 노이즈를 사용한 노이즈가 섞인 역번역을 통해 단일 언어 코퍼스에서 합성 병렬 데이터를 생성하였다.
• 최대 250개의 서어 단위 시퀀스에서 학습된 문서 수준 모델을 통해 장거리 의존성을 포착하였다.
• 문장 수준 앙상블과 문서 수준 모델의 n-best 가설을 가중 평균을 사용하여 통합하였다.
• 품질 평가 모델과 최소 베이즈 리스크 디코딩을 활용하여 COMET 점수 기반으로 n-best 목록을 재정렬하였다.

실험 결과

연구 질문

• RQ1 NER 보조 소스 팩터는 저자원 투르크어↔체코어 NMT에서 명시적 엔터티 번역을 크게 향상시킬 수 있는가?
• RQ2 제한된 병렬 데이터만 존재할 경우, 노이즈가 섞인 역번역은 번역 품질 향상에 얼마나 효과적인가?
• RQ3 문서 수준 모델링은 저자원 환경에서 일관성과 전체 번역 품질을 향상시키는가?
• RQ4 COMET 기반 재정렬을 통한 품질 인식 디코딩은 자동 평가에서 표준 베이즈 서치를 능가하는가?
• RQ5 제약이 있는 저자원 환경에서 여러 NMT 향상 기법의 병합된 영향은 전체 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• 최종 시스템은 투르크어→체코어 테스트 세트에서 COMET 점수 1.0488을 기록하였으며, 베이스라인(0.8315) 대비 26.13% 상대적 향상률을 보였다.
• 체코어→투르크어 방향에서는 COMET 점수 0.9944를 기록하였으며, 베이스라인(0.8008) 대비 24.18% 상대적 향상률을 기록하였다.
• 품질 인식 디코딩 방법이 가장 큰 COMET 점수 향상을 보였지만, 약간의 BLEU 점수 감소를 유발하여 유창성과 의미 품질 간의 상충 관계를 보였다.
• NER 소스 팩터는 명시적 엔터티 번역을 향상시켰지만, 메트릭이 엔터티 오류에 민감하지 않기 때문에 COMET 점수에 충분히 반영되지 않았다.
• 문장 수준 디코딩을 사용하더라도 문서 수준 모델은 COMET 점수 0.8942를 기록하여 장기적 맥락 모델링이 가치가 있음을 보여주었다.
• 통계적 유의성 검정을 통해 최종 제출물이 양 방향 모두에서 베이스라인을 유의미하게 뛰어넘었음을 확인하였다(p < 0.05).