[논문 리뷰] Transformers for Low-Resource Languages: Is Féidir Linn!

Séamus Lankford, Haithem Alfi외 1명|arXiv (Cornell University)|2024. 03. 04.

Topic Modeling참고 문헌 28인용 수 8

한 줄 요약

논문은 저자원 환경에서 영어–아일랜드어 번역을 위한 Transformer 모델의 하이퍼파라미터 최적화를 수행하고, 서브워드 모델링(SentencePiece with 16k BPE)과 튜닝된 Transformer 구성은 기초 모델과 RNN 대비 BLEU에서 상당한 이득을 보인다.

ABSTRACT

The Transformer model is the state-of-the-art in Machine Translation. However, in general, neural translation models often under perform on language pairs with insufficient training data. As a consequence, relatively few experiments have been carried out using this architecture on low-resource language pairs. In this study, hyperparameter optimization of Transformer models in translating the low-resource English-Irish language pair is evaluated. We demonstrate that choosing appropriate parameters leads to considerable performance improvements. Most importantly, the correct choice of subword model is shown to be the biggest driver of translation performance. SentencePiece models using both unigram and BPE approaches were appraised. Variations on model architectures included modifying the number of layers, testing various regularisation techniques and evaluating the optimal number of heads for attention. A generic 55k DGT corpus and an in-domain 88k public admin corpus were used for evaluation. A Transformer optimized model demonstrated a BLEU score improvement of 7.8 points when compared with a baseline RNN model. Improvements were observed across a range of metrics, including TER, indicating a substantially reduced post editing effort for Transformer optimized models with 16k BPE subword models. Bench-marked against Google Translate, our translation engines demonstrated significant improvements. The question of whether or not Transformers can be used effectively in a low-resource setting of English-Irish translation has been addressed. Is féidir linn - yes we can.

연구 동기 및 목표

• 저자원 언어인 아일랜드어의 번역 문제를 MT 영역에서 해결한다.
• 제한된 데이터 조건에서 Transformer 아키텍처가 RNN보다 성능이 우수한지 평가한다.
• 서브워드 모델링 선택이 번역 품질에 미치는 영향을 식별한다.
• 주의 헤드 수, 레이어 수, 정규화와 같은 하이퍼파라미터가 Transformer 성능에 미치는 영향을 탐색한다.
• 영어–아일랜드어 번역용 MT 시스템 구축에 대한 실용적인 지침을 제공한다.

제안 방법

• 평가를 위해 두 개의 영어–아일랜드어 병렬 코퍼스(DGT 일반 55k, PA 도메인 내 88k)를 사용한다.
• 무작위 탐색(HPO)을 통한 기본 RNN 및 Transformer 아키텍처를 비교한다.
• 소스와 타깃 데이터를 연결하여 공용 SentencePiece 서브워드 모델을 생성한다.
• 서브워드 모델(BPE 4k–32k 어휘, unigram)과 Transformer 설정(헤드 수, 레이어, 드롭아웃, 레이블 스무딩)을 평가한다.
• 좋은 하이퍼파라미터를 식별하기 위해 빠른 무작위 탐색 사이클(구성당 짧은 5k 스텝)로 학습하고, 이후 정제한다.
• 구글 번역과 비교 벤치마크를 수행하고 BLEU, TER, ChrF3 지표를 보고한다.

Figure 1: Proposed Approach

실험 결과

연구 질문

• RQ1 저자원 데이터 시나리오에서 Transformer 모델을 영어–아일랜드어 번역에 효과적으로 학습시킬 수 있는가?
• RQ2 서브워드 모델 선택(BPE 대 unigram)과 어휘 규모가 영어–아일랜드어 번역 품질에 어떤 영향을 미치는가?
• RQ3 저자원 MT에서 가장 적합한 Transformer 하이퍼파라미터(헤드 수, 레이어, 정규화)는 무엇인가?
• RQ4 최적화된 서브워드 모델링을 갖춘 Transformer가 기본 RNN 및 Google 번역과 영어–아일랜드어에서 어떻게 비교되는가?
• RQ5 결과가 일반 코퍼스(DGT)와 도메인 내 코퍼스(PA) 간에 일반화되는가?

주요 결과

• Transformer 모델은 두 데이터 세트에서 RNN보다 우수하다.
• 16k BPE 서브워드 모델이 최상의 Transformer 성능을 발휘하며, DGT 데이터세트에서 BLEU 60.5 및 TER 0.33(기준선 53.4)이다.
• PA 도메인 데이터에서도 8개의 어텐션 헤드와 16k BPE가 강한 결과를 내며(BLEU 60.x, TER 약 0.33–0.34).
• RNN은 서브워드 모델의 이득이 작게 나타나며( DGT에서 최대 ~3 BLEU 포인트; PA에서 더 작음).
• 무작위 탐색을 통한 하이퍼파라미터 최적화는 더 작은 DGT 모델에서 일부 구성에서 2 헤드가 최적임을 식별하는 반면, 더 큰 PA 코퍼스에서는 8 헤드가 2 헤드보다 우수하다.
• 서브워드 분절이 적용된 최적화된 Transformer는 포스트에디팅 노력을 줄이고 어휘 혼란도(lower perplexity)를 감소시키며, 수렴 속도가 빨라지고 검증 지표가 기본값 대비 우수하다.

Figure 2: BLEU performance for all model architectures