[논문 리뷰] Congolese Swahili Machine Translation for Humanitarian Response

Alp Öktem, Eric DeLuca외 3명|arXiv (Cornell University)|2021. 03. 19.

Natural Language Processing Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 콩고 스와힐리어(SWC)에서 프랑스어(FRA)로, 그리고 그 반대로의 양방향 신경 기계 번역 시스템을 제시한다. 이는 25,302개 문장으로 구성된 정제된 병렬 코퍼스와 교차 어휘 이행 및 준감독 학습을 통한 합성 데이터를 활용한다. 모델은 최대 3.5 BLEU 포인트 향상을 기록했으며, 인도적 지원 맥락에서 실용적으로 사용 가능하다. 인간 평가 결과, DRC 코로나19 챗봇 맥락에서 번역의 주요 메시지를 75%가 전달한 것으로 나타났다.

ABSTRACT

In this paper we describe our efforts to make a bidirectional Congolese Swahili (SWC) to French (FRA) neural machine translation system with the motivation of improving humanitarian translation workflows. For training, we created a 25,302-sentence general domain parallel corpus and combined it with publicly available data. Experimenting with low-resource methodologies like cross-dialect transfer and semi-supervised learning, we recorded improvements of up to 2.4 and 3.5 BLEU points in the SWC-FRA and FRA-SWC directions, respectively. We performed human evaluations to assess the usability of our models in a COVID-domain chatbot that operates in the Democratic Republic of Congo (DRC). Direct assessment in the SWC-FRA direction demonstrated an average quality ranking of 6.3 out of 10 with 75% of the target strings conveying the main message of the source text. For the FRA-SWC direction, our preliminary tests on post-editing assessment showed its potential usefulness for machine-assisted translation. We make our models, datasets containing up to 1 million sentences, our development pipeline, and a translator web-app available for public use.

연구 동기 및 목표

• 콩고 스와힐리어는 스와힐리어의 저자원 어휘이자 프랑스어 및 린갈라어 영향을 많이 받은 언어로, 기계 번역 자원의 부족 문제를 해결하기 위함이다.
• 콩고 민주공화국(DRC)의 인도적 소통을 위해 특화된 양방향 신경 기계 번역 시스템(SWC–FRA 및 FRA–SWC)을 개발하기 위함이다.
• 제한된 병렬 데이터가 있는 상황에서 저자원 NLP 기법인 교차 어휘 이행 및 준감독 학습을 통해 번역 품질 향상을 연구하기 위함이다.
• 특히 DRC 기반의 코로나19 챗봇에서 실질적인 인도적 워크플로우에 모델의 실용적 사용성을 평가하기 위함이다.
• 미래 연구 및 인도적 번역을 지원하기 위해 오픈소스 모델, 데이터셋(최대 100만 문장), 웹 기반 번역 툴을 공개하기 위함이다.

제안 방법

• 인간이 번역한 콩고 스와힐리어와 프랑스어 쌍으로 구성된 25,302개 문장의 일반 도메인 병렬 코퍼스를 정제하고 청소하였다.
• 정제된 데이터셋을 공개된 병렬 데이터(예: JW300 컬렉션 포함)와 융합하여 훈련 데이터의 다양성과 크기를 향상시켰다.
• 기존 다국어 모델을 SWC–FRA 및 FRA–SWC 작업에 대해 미세조정하여 다른 스와힐리어 어휘와 유사성을 활용함으로써 교차 어휘 이행 학습을 적용하였다.
• 단일 언어 데이터에서 합성 병렬 문장을 생성하기 위해 준감독 학습 기법을 활용하여 실제 훈련 데이터 크기를 증가시켰다.
• Transformer 기반 아키텍처를 사용하여 신경 기계 번역 모델을 훈련하였으며, 자동 평가(BLEU) 및 인간 평가 지표를 최적화하였다.
• 실시간 추론과 커뮤니티 피드백을 가능하게 하기 위해 웹 기반 번역 애플리케이션(http://gamayun.translatorswb.org/)을 개발하고 배포하였다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 부족한 상황에서 교차 어휘 이행 학습이 저자원 콩고 스와힐리어 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 제한된 병렬 데이터에서 준감독 학습이 SWC–FRA 및 FRA–SWC 방향의 번역 품질을 어느 정도 향상시키는가?
• RQ3 실제 인도적 응용 분야, 예를 들어 DRC 기반의 코로나19 챗봇에서 생성된 NMT 모델이 원문의 주요 메시지를 얼마나 잘 유지하는가?
• RQ4 특히 메시지 명확성과 완전성 측면에서 실무 번역 워크플로우에서 인간 평가 기반의 사용성은 어떠한가?
• RQ5 모델, 데이터셋, 개발 파이프라인을 오픈소스로 제공함으로써 저자원 언어를 위한 지속 가능한 NLP 연구 및 인도적 기술 발전을 촉진할 수 있는가?

주요 결과

• 교차 어휘 이행 학습 및 준감독 학습의 적용으로 SWC–FRA 방향에서 최대 2.4 BLEU 포인트 향상, FRA–SWC 방향에서 최대 3.5 BLEU 포인트 향상이 이루어졌다.
• SWC–FRA 모델의 인간 평가 결과 평균 품질 점수는 10점 만점에 6.3점이며, 번역의 75%가 원문의 주요 메시지를 성공적으로 전달했다.
• 후편집 평가에서 FRA–SWC 모델는 기계 보조 번역 워크플로우에서의 잠재적 활용 가능성을 보였으며, 인도적 번역 파이프라인에서의 유용성을 시사했다.
• 최종 평가는 71개의 실제 사용자가 제출한 코로나19 질문 기반으로 이루어졌으며, 품질 점수의 표준편차가 3.0이었고, 이는 번역 품질에 중간 정도의 의미 있는 변동성이 있음을 나타냈다.
• 본 연구는 정제된 인간 번역 문장 25,302개와 928,065개의 합성 병렬 문장을 포함한 데이터셋을 성공적으로 제작하고 공개하였으며, 훈련된 모델 및 공개 웹 애플리케이션도 함께 제공하였다.
• 개발 파이프라인과 테스트 세트는 GitHub에 공개되어 있어 재현성 및 향후 연구 확장에 기여할 수 있다.