[논문 리뷰] YANMTT: Yet Another Neural Machine Translation Toolkit

Raj Dabre, Eiichiro Sumita|arXiv (Cornell University)|2021. 08. 25.

Natural Language Processing Techniques참고 문헌 24인용 수 5

한 줄 요약

YANMTT는 Hugging Face의 Transformers 라이브러리를 기반으로 한 오픈소스이자 초보자에게 친화적인 신경 기계 번역 툴킷으로, 다국어 NMT 모델의 엔드 투 엔드 사전 훈련, 미세조정, 모델 압축 및 분석을 가능하게 한다. 분산 훈련, 선택적 파라미터 전이, 지식 정복, 동시 번역 및 문서/다중 소스 번역과 같은 고급 NMT 패러다임을 지원하며, 자원이 풍부한(예: 일본어-영어에서 39.96 BLEU) 및 자원이 부족한(예: 히누어-영어에서 35.80 BLEU) 환경 모두에서 최신 기준 BLEU 점수를 달성한다.

ABSTRACT

In this paper we present our open-source neural machine translation (NMT) toolkit called "Yet Another Neural Machine Translation Toolkit" abbreviated as YANMTT which is built on top of the Transformers library. Despite the growing importance of sequence to sequence pre-training there surprisingly few, if not none, well established toolkits that allow users to easily do pre-training. Toolkits such as Fairseq which do allow pre-training, have very large codebases and thus they are not beginner friendly. With regards to transfer learning via fine-tuning most toolkits do not explicitly allow the user to have control over what parts of the pre-trained models can be transferred. YANMTT aims to address these issues via the minimum amount of code to pre-train large scale NMT models, selectively transfer pre-trained parameters and fine-tune them, perform translation as well as extract representations and attentions for visualization and analyses. Apart from these core features our toolkit also provides other advanced functionalities such as but not limited to document/multi-source NMT, simultaneous NMT and model compression via distillation which we believe are relevant to the purpose behind our toolkit.

연구 동기 및 목표

• 초기 훈련에서 대규모 NMT 모델을 새로 시작할 수 있도록 도와주는 초보자 우호적이고 코드 최소화된 툴킷의 부족을 보완하기 위해.
• 미세조정 중 파라미터 전이에 대한 세밀한 제어를 제공하여 사전 훈련된 구성 요소의 선택적 적응을 가능하게 하기 위해.
• 동시 번역, 문서/다중 소스 번역 및 지식 정복을 통한 모델 압축과 같은 고급 NMT 패러다임을 지원하기 위해.
• 분산 훈련과 모델 분석(주의 시각화 및 표현 추출 포함)을 단순화하기 위해.
• Fairseq와 같은 대규모 복잡한 코드베이스에 의존하지 않고도 대학 및 소규모 기관의 연구자들이 도메인 또는 언어 전용 모델을 사전 훈련할 수 있도록 지원하기 위해.

제안 방법

• 사용의 용이성과 생태계를 활용하기 위해 Hugging Face의 Transformers 라이브러리 위에 구축되어, 사전 훈련된 모델과 미세조정 파이프라인에 쉽게 접근할 수 있도록 한다.
• 초보자들이 읽기 쉽고 수정하기 쉽게 하기 위해 최소한의 코드베이스와 풍부한 주석을 사용한다.
• 단일 언어 코퍼스에서의 데이터 인피링을 사용해 다국어 NMT 사전 훈련을 분산 처리하며, 언어 집중도를 균형 있게 조절할 수 있도록 구성 가능한 샘플링 온도를 제공한다.
• 사용자가 어떤 모델 구성 요소를 동 冻결하거나 업데이트할지 지정할 수 있도록 하여, 미세조정 중에 선택적 파라미터 전이를 가능하게 한다.
• 지식 정복과 파라미터 유사성 기법을 통해 모델 압축을 구현하여 추론 지연 시간을 줄인다.
• 디코딩, 주의 시각화 및 표현 추출을 위한 통합 스크립트를 제공하여 모델 분석과 해석 가능성 향상을 돕는다.

실험 결과

연구 질문

• RQ1 경량이면서 초보자에게 친화적인 툴킷은 최소한의 코드와 최대한의 투명성으로 전체 스케일의 NMT 사전 훈련과 미세조정을 효과적으로 지원할 수 있는가?
• RQ2 미세조정 중 선택적 파라미터 전이가 자원이 부족한 환경과 다국어 번역 설정에서 성능에 어떤 영향을 미치는가?
• RQ3 지식 정복과 파라미터 유사성 기법을 통해 모델 크기와 추론 지연 시간을 얼마나 줄일 수 있으며, 정확도 손실 없이 가능한가?
• RQ4 통합 툴킷이 표준 순서-순서 번역 외에도 동시 번역, 문서 수준 번역 및 다중 소스 번역과 같은 다양한 NMT 패러다임을 효율적으로 지원할 수 있는가?
• RQ5 YANMTT로 훈련된 모델의 성능은 자원이 풍부한가 아니면 자원이 부족한 언어 쌍에서 최신 기준 베이스라인과 비교해 어떻게 되는가?

주요 결과

• YANMTT 툴킷은 일본어-영어 번역 작업에서 BLEU 점수 39.96을 기록하여 다른 기존 툴킷의 결과와 유사한 성능을 달성했다.
• 자원이 부족한 인디카 언어에 대해 MBART 모델을 미세조정한 결과, 히누어-영어 방향에서 BLEU 점수가 28.21에서 35.80으로 상당히 향상되었다.
• 11개의 인디카 언어와 영어로 사전 훈련된 MBART 모델은 MultiIndicMT 벤치마크에서 뛰어난 성능을 보이며 다국어 사전 훈련의 효과성을 입증했다.
• 툴킷은 48개의 V-100 GPU를 활용해 분산 훈련을 성공적으로 수행했으며, MBART 모델의 사전 훈련을 약 1일 만에 완료했다.
• 사전 훈련 중 데이터 인피링과 온도 기반 샘플링을 활용함으로써 언어 커버리지 균형을 유지하고 자원이 부족한 언어 간 일반화 능력을 향상시켰다.
• 툴킷의 모듈러 구조와 풍부한 주석 덕분에 이해와 확장이 용이하여 NMT 사전 훈련 및 전이 학습 연구를 지원한다.