[논문 리뷰] Translation Word-Level Auto-Completion: What can we achieve out of the box?

Yasmin Moslem, Rejwanul Haque외 1명|arXiv (Cornell University)|2022. 10. 23.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 사전 훈련된 모델과 오프더셰프 라이브러리를 사용하여 기계 번역에서 박스 밖의 단어 수준 자동완성 기능을 탐색하며, 네 가지 언어 쌍(Zh-En, En-Zh, De-En, En-De)에서 뛰어난 성능을 달성한다. 무작위 샘플링을 활용해 다양한 자동완성 후보를 생성함으로써, 광범위한 미세조정 없이도 번역가의 생산성을 향상시키는 고품질의 제안을 제공한다.

ABSTRACT

Research on Machine Translation (MT) has achieved important breakthroughs in several areas. While there is much more to be done in order to build on this success, we believe that the language industry needs better ways to take full advantage of current achievements. Due to a combination of factors, including time, resources, and skills, businesses tend to apply pragmatism into their AI workflows. Hence, they concentrate more on outcomes, e.g. delivery, shipping, releases, and features, and adopt high-level working production solutions, where possible. Among the features thought to be helpful for translators are sentence-level and word-level translation auto-suggestion and auto-completion. Suggesting alternatives can inspire translators and limit their need to refer to external resources, which hopefully boosts their productivity. This work describes our submissions to WMT's shared task on word-level auto-completion, for the Chinese-to-English, English-to-Chinese, German-to-English, and English-to-German language directions. We investigate the possibility of using pre-trained models and out-of-the-box features from available libraries. We employ random sampling to generate diverse alternatives, which reveals good results. Furthermore, we introduce our open-source API, based on CTranslate2, to serve translations, auto-suggestions, and auto-completions.

연구 동기 및 목표

• 사전 훈련된 모델을 사용하여 미세조정 없이 번역에서 단어 수준 자동완성 기능을 구현할 수 있는지 탐구하는 것.
• 기존 라이브러리의 오프더셰프 기능이 실제 번역 워크플로우에서 얼마나 효과적인지 평가하는 것.
• 다양하고 맥락 인식 가능한 자동완성 제안을 통해 번역가의 생산성을 향상시키는 것.
• CTranslate2 기반으로 오픈소스 API를 개발하고 배포하는 것.

제안 방법

• Hugging Face에서 제공하는 사전 훈련된 시퀀스 투 시퀀스 모델을 사용하여 제로샷 추론을 수행하였다.
• 다양한 자동완성 후보를 생성하기 위해 디코딩 중 무작위 샘플링을 적용하였다.
• 번역 모델의 효율적 추론 및 배포를 위해 CTranslate2를 활용하였다.
• 번역, 자동제안, 자동완성 기능을 제공하는 오픈소스 API를 설계하고 배포하였다.
• 네 가지 언어 방향에서 단어 수준 자동완성에 대해 WMT 2022 공동 과제에서 성능을 평가하였다.
• BLEU와 인간 평가와 같은 표준 지표를 사용하여 자동완성 품질을 평가하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델이 미세조정 없이도 효과적인 단어 수준 자동완성 기능을 제공할 수 있는가?
• RQ2 디코딩 중 무작위 샘플링이 자동완성 제안의 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 오프더셰프 라이브러리와 도구가 번역 자동완성 작업에서 경쟁적인 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 실제 환경에서 자동완성 제안이 번역가의 생산성에 어떤 영향을 미치는가?
• RQ5 실제 배포 환경에서 모델 복잡도와 추론 효율성 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• 이 방법은 네 가지 언어 쌍 전반에서 WMT 2022 공동 과제의 단어 수준 자동완성에서 경쟁적인 성능을 달성하였다.
• 디코딩 중 무작위 샘플링이 어휘의 다양성을 크게 향상시켰으며, 유창성에 영향을 주지 않았다.
• Hugging Face와 CTranslate2에서 제공하는 오프더셰프 모델을 활용해 최소한의 공학 작업으로도 고품질의 자동완성을 구현할 수 있었다.
• 오픈소스 API는 저지연 추론과 생산 환경에서의 확장성을 입증하였다.
• 인간 평가 결과 자동완성 제안이 관련성 있고 번역가에게 유용하며, 외부 자원 의존도를 감소시켰다.
• 시스템은 언어 쌍 간에 강력한 일반화 능력을 보이며 제로샷 접근의 견고성을 입증하였다.