[논문 리뷰] MTet: Multi-domain Translation for English and Vietnamese

Chinh Ngo, Trieu H. Trinh외 6명|arXiv (Cornell University)|2022. 10. 11.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 영어-베트남어 번역을 위한 공개된 다국어 병렬 코퍼스인 MTet를 소개한다. 이 코퍼스는 법적, 생물의학 분야 등 이전에 다루지 않은 분야를 포함해 다양한 분야에서 420만 개의 고품질 문장 쌍을 포함하고 있다. 또한 저자들은 영어-베트남어를 위한 첫 번째 사전학습된 Transformer 기반 모델인 EnViT5를 공개한다. 이 모델은 MTet와 phoMT 데이터에서 미세조정을 거치며 기존 모델보다 최대 2 BLEU 포인트 향상된 최신 기술 성능(SOTA)을 달성하면서도 기존 모델 대비 1.6배 더 작다.

ABSTRACT

We introduce MTet, the largest publicly available parallel corpus for English-Vietnamese translation. MTet consists of 4.2M high-quality training sentence pairs and a multi-domain test set refined by the Vietnamese research community. Combining with previous works on English-Vietnamese translation, we grow the existing parallel dataset to 6.2M sentence pairs. We also release the first pretrained model EnViT5 for English and Vietnamese languages. Combining both resources, our model significantly outperforms previous state-of-the-art results by up to 2 points in translation BLEU score, while being 1.6 times smaller.

연구 동기 및 목표

• 저자원 언어 쌍, 특히 영어-베트남어에 대한 고품질 병렬 데이터 부족 문제를 해결하기 위해 대규모 다도메인 병렬 코퍼스를 구축하는 것.
• 정제된 고품질 데이터와 새로 공개된 사전학습 모델을 결합하여 영어-베트남어 신경 기계 번역 성능을 향상시키는 것.
• 다양한 도메인에서의 훈련 데이터가 모델의 일반화 능력과 성능 향상에 크게 기여함을 입증하는 것.
• 저자원 기계 번역 분야의 연구와 응용을 촉진하기 위해 공개 가능한 고품질 기준 데이터셋과 모델을 제공하는 것.

제안 방법

• MTet 데이터셋은 OPUS에서 확보한 기존 병렬 코퍼스(예: TED 강연, 위키백과, OpenSubtitles, CCAlign)를 정제하고 통합한 후, 품질을 확보하기 위해 기본 Transformer 모델을 사용해 추가 필터링을 수행하였다.
• 다양한 도메인에서의 정확도를 확보하기 위해 인간이 검토한 데이터를 활용한 커뮤니티 기반 캐릭터링 방식으로 다도메인 테스트 세트를 구축하였으며, 전문가의 교차 검토를 통해 언어학적 및 도메인 특화 정확도를 확보하였다.
• MTet 및 phoMT 데이터셋에서의 미세조정을 위해 영어-베트남어 번역을 위해 특별히 개발한 새로운 사전학습된 인코더-디코더 모델인 EnViT5를 개발하였다. 이 모델은 사전학습 단계에서 대규모 비정렬 단일 언어 텍스트를 활용한 후, 최종적으로 MTet 및 phoMT 데이터셋에서 미세조정을 수행하였다.
• 620만 개의 문장 쌍(= MTet + phoMT)으로 구성된 통합 훈련 세트에서 모델을 미세조정하였으며, 데이터 증강 및 도메인 다양성을 활용해 모델의 강건성을 향상시켰다.
• 단일 도메인 훈련 데이터와 다도메인 훈련 데이터 간의 비교 평가를 수행하였으며, 동일한 모델 아키텍처와 훈련 설정을 사용하여 도메인 다양성의 영향을 정확히 분리할 수 있도록 하였다.
• 시간 예산 분석을 통해 자기지도 학습 사전학습과 감독 학습 기반 데이터 확장 간의 효율성을 비교하였으며, 훈련 시간 단위 및 데이터 볼륨 단위당 BLEU 점수 향상도를 측정하였다.

실험 결과

연구 질문

• RQ1 다양하고 다도메인 병렬 코퍼스에서 훈련한 모델이 단일 도메인 데이터에서 훈련한 모델보다 영어-베트남어 기계 번역에서 더 우수한 일반화 능력과 성능을 보일까?
• RQ2 MTet와 같은 더 큰 고품질 데이터셋에서 미세조정된 새로 사전학습된 다국어 모델(EnViT5)이 기존 최신 기술 모델을 초월할 수 있을까?
• RQ3 다도메인 훈련 데이터에서 훈련한 모델의 성능가, 예를 들어 법학 또는 TED 강연 단일 도메인에서 훈련한 모델와 비교해 다도메인 테스트 세트에서의 성능은 어떻게 될까?
• RQ4 저자원 언어 쌍에서 번역 성능 향상을 위해 감독 학습 기반 데이터 수집과 자기지도 학습 사전학습 간의 상대적 효율성은 어떠한가?
• RQ5 의료 및 법적 텍스트 등 고품질 기술 도메인 데이터를 포함함으로써 저자원 번역 작업의 성능 향상은 어느 정도 이루어질까?

주요 결과

• MTet 코퍼스는 420만 개의 고품질 다도메인 문장 쌍을 포함하고 있으며, 법적 및 생물의학 분야 등 일반적으로 기존 코퍼스에서 간과되는 기술 도메인도 상당한 비중으로 포함하고 있다.
• MTet와 phoMT(총 620만 개 문장 쌍)에서 미세조정된 EnViT5-base 모델은 영어-베트남어 번역 과제에서 새로운 최신 기술 BLEU 점수 45.47점을 기록하였으며, 이는 이전 최신 기술 대비 2 포인트 향상된 성능이다.
• 이전 최신 기술 모델(예: mBART, 448M) 대비 파라미터 수를 1.6배 줄인 275M로 축소하면서도 성능을 유지하거나 향상시켰으며, 이는 더 빠른 추론을 가능하게 한다.
• 다도메인 훈련 데이터에서 훈련한 모델는 유의미하게 더 뛰어난 일반화 능력을 보였으며, 30만 개의 다도메인 훈련 데이터셋이 순수 TED 강연 또는 순수 법학 데이터셋보다 테스트 세트의 모든 도메인(법률 도메인 포함)에서 더 높은 성능을 기록하였다.
• 비정렬 双어 텍스트에서의 사전학습은 일정 데이터 임계점을 넘어서면 수익 감소 효과를 보이며, 목표 BLEU 점수 34에 도달하기 위해 감독 학습 기반 데이터 확장 대비 최대 1000배 더 많은 데이터와 2000배 더 많은 훈련 시간이 필요하다.
• 이 연구는 고품질 정제된 데이터 수집이 대규모 자동 크롤링보다 성능 향상에 더 효과적이고 효율적임을 확인하였으며, 특히 도메인 다양성이 우선시될 경우 더욱 두드러진다.