[논문 리뷰] Democratizing Neural Machine Translation with OPUS-MT

Jörg Tiedemann, Mikko Aulamo외 8명|arXiv (Cornell University)|2022. 12. 04.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 OPUS-MT를 소개한다. OPUS-MT는 공개 접근이 가능하고 고성능이며 사전 훈련된 번역 모델과 도구를 제공함으로써 신경망 기계 번역을 민주화하는 오픈소스 이니셔티브이다. OPUS 생태계의 多어병렬코퍼스를 기반으로 하여, 연구자와 개발자가 다양한 플랫폼, 특히 Hugging Face와 유럽어역망에서 효율적이고 투명하며 라이선스가 없는 번역 모델을 구현할 수 있게 해주며, 저자원 언어 및 지속 가능한 NLP 개발을 위한 진입 장벽을 크게 낮춘다.

ABSTRACT

This paper presents the OPUS ecosystem with a focus on the development of open machine translation models and tools, and their integration into end-user applications, development platforms and professional workflows. We discuss our on-going mission of increasing language coverage and translation quality, and also describe on-going work on the development of modular translation models and speed-optimized compact solutions for real-time translation on regular desktops and small devices.

연구 동기 및 목표

• 저자원 및 소외된 언어에 대한 개방적이고 투명하며 접근 가능한 신경망 기계 번역(NMT) 솔루션의 부족을 해결하기 위해.
• 데이터 프라이버시와 투명성을 해치는 기업 중심의 수익 중심 MT 서비스에 대한 의존도를 줄이기 위해.
• 오픈소스 공유와 유연한 라이선싱을 통해 계산 비용이 큰 모델을 재사용할 수 있도록 하여 지속 가능한 NLP를 지원하기 위해.
• 표준 데스크톱 및 소형 기기에서의 배포를 위해 언어 커버리지 확장과 모델 효율성 향상을 위해.
• 상호운용 가능한 도구와 API를 통해 전문 번역 워크플로우, 연구 플랫폼, 최종 사용자 애플리케이션에 고품질 NMT 모델을 통합하기 위해.

제안 방법

• 대규모 공개 병렬 코퍼스를 집계하고 정제하여 NMT 모델의 훈련 데이터로 활용하는 OPUS 생태계를 활용한다.
• 새로운 언어 쌍에 대해 효율적인 피니팅과 적응을 지원하는 모듈러하고 전이학습 기반의 NMT 아키텍처를 개발한다.
• 소비자 수준 하드웨어에서 실시간 추론을 가능하게 하는 최적화되고 컴팩트한 모델을 개발하여 계산 및 에너지 비용을 감소시킨다.
• Hugging Face, 유럽어역망, OPUS-CAT와 같은 널리 사용되는 플랫폼에 훈련된 모델을 통합하여 전문 컴퓨터 지원 번역을 위한 지원을 제공한다.
• OPUS-API, OpusTools, OpusFilter와 같은 도구를 활용하여 모델 훈련의 데이터 정제, 필터링 및 파이프라인 자동화를 수행한다.
• 다양한 언어 쌍 간의 번역 품질을 모니터링하고 향상시키기 위해 벤치마크와 평가 프레임워크를 수립한다.

실험 결과

연구 질문

• RQ1 어떻게 개방적이고 사전 훈련된 NMT 모델을 저자원 언어와 고자원 언어를 포함한 광범위한 언어에 효과적으로 확장할 수 있는가?
• RQ2 표준 데스크톱 및 모바일 기기에서 NMT 모델의 효율적이고 실시간 추론을 가능하게 하는 기술적 및 아키텍처 전략은 무엇인가?
• RQ3 오픈소스이자 커뮤니티 기반의 NMT 모델 개발은 NLP 분야에서 투명성, 지속 가능성, 공정한 접근성을 어떻게 증진시킬 수 있는가?
• RQ4 모듈러하고 이식 가능한 NMT 아키텍처는 다국어 환경에서 성능 향상과 훈련 비용 감소에 얼마나 기여하는가?
• RQ5 어떤 통합 패턴이 전문 번역 워크플로우와 연구 플랫폼에 NMT 모델을 원활하게 배포하는 데 기여하는가?

주요 결과

• OPUS-MT는 공개적으로 이용 가능하고 재사용 가능한, 고성능의 사전 훈련된 NMT 모델을 다수 개발하여 제공한다.
• Hugging Face 및 유럽어역망과 같은 플랫폼에 OPUS-MT 모델이 통합되어 연구자와 개발자가 즉각적으로 액세스하고 배포할 수 있게 되었다.
• 표준 데스크톱 및 소형 기기에서 실시간 번역을 지원하는 컴팩트하고 속도 최적화된 모델이 개발되어 고성능 컴퓨팅 인프라에 대한 의존도를 감소시켰다.
• 체계적인 데이터 정제와 다양한 병렬 코퍼스의 통합을 통해 저자원 언어의 언어 커버리지가 크게 확장되었다.
• OPUS-MT의 모듈러 프레임워크는 전이학습과 피니팅을 지원하여 새로운 언어 쌍과 도메인에 대한 모델 적응을 효율적으로 가능하게 한다.
• LibreTranslate와의 협업 및 OPUS-CAT 통한 전문 워크플로우 통합은 생태계의 실용적 확장성과 상호운용성을 입증한다.