[논문 리뷰] ONTS: "Optima" News Translation System

Marco Turchi, Martin Atkinson외 5명|arXiv (Cornell University)|2014. 01. 13.

Natural Language Processing Techniques참고 문헌 20인용 수 12

한 줄 요약

ONTS는 실시간으로 작동하는 내부 기계 번역 시스템으로, Moses 기반으로 제작되어 11개 언어(예: 아랍어, 프랑스어, 터키어)의 뉴스 기사들을 영어로 번역하며, 속도와 뉴스 전용 기능에 최적화되어 있다. 이 시스템은 기사를 사전에 분류하고, 전용 명칭 엔티티 저장소를 사용하며, 제목을 별도로 번역하고, 언어별 전처리를 적용하여 번역 품질을 향상시킨다. 이로 인해 폴란드어나 포르투갈어와 같은 저자원 언어에서 구글 번역보다 뛰어난 성능을 보였다.

ABSTRACT

We propose a real-time machine translation system that allows users to select a news category and to translate the related live news articles from Arabic, Czech, Danish, Farsi, French, German, Italian, Polish, Portuguese, Spanish and Turkish into English. The Moses-based system was optimised for the news domain and differs from other available systems in four ways: (1) News items are automatically categorised on the source side, before translation; (2) Named entity translation is optimised by recognising and extracting them on the source side and by re-inserting their translation in the target language, making use of a separate entity repository; (3) News titles are translated with a separate translation system which is optimised for the specific style of news titles; (4) The system was optimised for speed in order to cope with the large volume of daily news articles.

연구 동기 및 목표

• 제3자 데이터 유출을 방지하면서도 다국어 뉴스 기사의 실시간 번역을 가능하게 하는 사내 기반 기계 번역 시스템을 개발한다.
• 문서 구조와 도메인 특화 자원을 활용하여 뉴스 기사의 번역 품질과 효율성을 향상시킨다.
• 완벽한 언어적 정확성보다는 기사의 핵심 내용을 신속하게 파악할 수 있도록 '요약' 번역을 제공함으로써 사용자가 기사의 관련성을 신속히 평가할 수 있도록 지원한다.
• 사용자 데이터를 노출시키고 사용 제한이 있는 구글 번역과 같은 상용 서비스에 대한 의존도를 줄인다.
• 유럽 미디어 모니터 파이프라인에 통합하여 대규모, 매일의 뉴스 처리를 가능하게 한다.

제안 방법

• 시스템은 모듈식 파이프라인을 사용한다: 뉴스 기사는 번역 전에 언어별 토크나이저, 소문자 변환, 복합어 분할을 통해 전처리된다.
• 명칭 엔티티는 언어에 종속되지 않는 규칙을 사용해 소스 측에서 추출되며, 다국어 엔티티 저장소와 매칭되어 일관된 번역이 보장된다.
• 뉴스 제목 전용 번역 모델을 별도로 훈련하고 적용하여 헤드라인 스타일과 간결함에 최적화되어 있다.
• 멀티스레딩 Moses 서버와 KenLM을 활용한 언어 모델링을 통해 최대 일일 10만 건의 기사 처리가 가능한 고속 처리를 구현한다.
• 사용자 정의 자바 서블릿이 RSS 입력을 처리하고, 기사들을 적절한 언어 모델로 라우팅하며, 후처리(토크나이징 해제, 대문자 복원, 알 수 없는 단어 기록)를 관리한다.
• 아키텍처는 향후 여러 머신으로 분산 구현이 가능하여 확장성과 성능 향상을 지원한다.

실험 결과

연구 질문

• RQ1 실시간으로 작동하는 사내 기반 기계 번역 시스템을 어떻게 신속성과 사용자 데이터 프라이버시를 유지하면서 뉴스 도메인에 최적화할 수 있는가?
• RQ2 사전에 명칭 엔티티와 제목을 별도로 전처리하는 방식이 다국어 뉴스 번역의 품질 향상에 어느 정도 기여하는가?
• RQ3 모세스와 같은 오픈소스 SMT 도구를 기반으로 한 시스템이 제한된 훈련 데이터와 계산 자원으로도 경쟁 가능한 성능을 낼 수 있는가?
• RQ4 언어별 전처리와 모듈식 아키텍처의 통합이 번역 속도와 확장성에 어떤 영향을 미치는가?
• RQ5 일반 목적 서비스와 비교했을 때 뉴스 스타일, 엔티티 처리 등 도메인 특화 적응이 번역 성능에 어떤 영향을 미치는가?

주요 결과

• ONTS는 폴란드어(0.568 vs. 0.511 BLEU)와 포르투갈어(0.579 vs. 0.424 BLEU)에서 구글 번역을 능가하여 도메인 특화 최적화의 효과를 입증했다.
• 아랍어와 페르시아어에서는 명칭 엔티티 처리가 번역 커버리지와 품질을 크게 향상시켰으며, 각 영문 엔티티 참조가 소스 측 인식 정확도를 높였다.
• 터키어 번역 성능은 여전히 열악하다(0.238 BLEU), 이는 높은 형태소 복잡성과 뉴스 도메인에서의 훈련 데이터 부족이 원인으로 보인다.
• 시스템은 실시간 성능을 달성하여 2개의 쿼드 코어 서버(48GB RAM)로 11개 언어에서 일일 10만 건의 기사 처리가 가능했다.
• 처리 시간은 문자 단위로 기록되며, 인터페이스는 문자당 밀리초 단위로 표시되어 사용자가 처리 효율을 평가할 수 있도록 했다.
• 시스템은 http://optima.jrc.it/Translate/ 에서 공개 데모로 이용 가능하며, 엔티티 처리, 대문자 복원, 알 수 없는 단어 보고 기능 등 사용자 정의 모듈을 제공한다.