[논문 리뷰] English-Catalan Neural Machine Translation in the Biomedical Domain through the cascade approach

Marta R. Costa‐jussà, Noé Casas외 1명|arXiv (Cornell University)|2018. 03. 19.

Natural Language Processing Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 영어-스페인어 및 스페인어-카탈로니아어 신경 기계 번역(NMT) 시스템을 사용한 계단식 피봇 접근법을 제안하여 저자원 영어-카탈로니아어 생물의학 번역 과제를 해결한다. 트랜스포머 아키텍처와 새로 제작한 영어-카탈로니아어 생물의학 테스트 세트를 활용하여, 시스템은 BLEU 점수 41.38을 기록하였으며, 이는 저자원 생물의학 환경에서 피봇 기반 NMT의 효과성을 입증한다.

ABSTRACT

This paper describes the methodology followed to build a neural machine translation system in the biomedical domain for the English-Catalan language pair. This task can be considered a low-resourced task from the point of view of the domain and the language pair. To face this task, this paper reports experiments on a cascade pivot strategy through Spanish for the neural machine translation using the English-Spanish SCIELO and Spanish-Catalan El Periódico database. To test the final performance of the system, we have created a new test data set for English-Catalan in the biomedical domain which is freely available on request.

연구 동기 및 목표

• 생물의학 분야에서 저자원 영어-카탈로니아어 신경 기계 번역 과제를 해결하기 위해.
• 스페인어를 중간 언어로 사용하는 계단식 피봇 전략의 효과성을 평가하기 위해.
• 평가를 위해 새로운 고품질 영어-카탈로니아어 생물의학 테스트 세트를 개발하고 공개하기 위해.
• 트랜스포머 아키텍처가 피봇 방법을 통해 저자원 생물의학 번역에서 강력한 성능을 낼 수 있음을 입증하기 위해.
• 저자원 언어 쌍을 위한 향후 생물의학 NMT 연구를 위한 기준을 제공하기 위해.

제안 방법

• 시스템은 계단식 피봇 전략을 활용한다: 먼저 사전 훈련된 트랜스포머 모델을 사용해 영어를 스페인어로 번역한 후, 스페인어를 카탈로니아어로 번역한다.
• 영어-스페인어 모델은 2,050만 개의 세그먼트를 포함한 SCIELO 생물의학 병렬 코퍼스를 기반으로 훈련된다.
• 스페인어-카탈로니아어 모델은 650만 개의 세그먼트를 포함한 El Periódico 뉴스 코퍼스를 기반으로 훈련된다.
• 최종 영어-카탈로니아어 번역 결과는 두 모델의 출력을 연결하여 도출된다.
• 텍스트 전처리에는 토큰화, 문장 필터링(1~50단어), 그리고 Freeling을 사용한 영어 및 스페인어의 대명사와 축약형의 특수 처리가 포함된다.
• 새로운 영어-카탈로니아어 테스트 세트는 WMT 2016 스페인어 생물의학 테스트 세트를 자동으로 카탈로니아어로 번역한 후 전문가의 후처리를 거쳐 제작되었다.

실험 결과

연구 질문

• RQ1 제한된 병렬 데이터가 존재하는 영어-카탈로니아어 생물의학 분야에서 계단식 피봇 전략이 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 저자원 환경에서 계단식 NMT 시스템의 성능은 직접 번역 시스템과 비교해 어떻게 되는가?
• RQ3 트랜스포머 아키텍처가 생물의학 텍스트에서 효과적인 피봇 기반 번역을 지원하는 데 얼마나 기여하는가?
• RQ4 평가를 위해 신뢰성 있는 도메인 특화 영어-카탈로니아어 생물의학 테스트 세트를 고품질로 제작할 수 있는가?
• RQ5 피봇 기반 방법이 저자원 환경에서 향후 비지도 또는 다국어 NMT 접근법의 기준으로서의 잠재력을 얼마나 지니는가?

주요 결과

• 영어-스페인어 NMT 시스템은 WMT 2016 생물의학 테스트 세트에서 BLEU 점수 46.55를 기록하였다.
• 스페인어-카탈로니아어 NMT 시스템은 El Periódico 테스트 세트에서 BLEU 점수 86.89를 기록하였다.
• 계단식 영어-스페인어-카탈로니아어 시스템은 새로 제작한 영어-카탈로니아어 생물의학 테스트 세트에서 BLEU 점수 41.38을 기록하였다.
• BLEU 점수는 mteval-v14.pl에서 유사한 t2t-bleu 스크립트를 사용하여 계산되었다.
• 연구는 향후 연구를 위한 무료로 이용 가능한 영어-카탈로니아어 생물의학 테스트 세트를 제공한다.
• 결과는 트랜스포머 아키텍처를 활용한 피봇 기반 NMT가 저자원 생물의학 번역 과제에 실현 가능한 해결책임을 확인한다.