[논문 리뷰] Exploring Benefits of Transfer Learning in Neural Machine Translation

Tom Kocmi|arXiv (Cornell University)|2020. 01. 06.

Natural Language Processing Techniques참고 문헌 138인용 수 16

한 줄 요약

이 박사학위 논문은 저자원 언어 쌍에서 신경 기계 번역(NMT)의 성능을 향상시키기 위해 전이 학습을 조사한다. 저자는 사전에 훈련된 고자원 모델을 재사용하거나 사전 적응 없이 재사용하는 간단하고 효과적인 전이 기법을 제안하며, 특히 전이를 위해 최적화된 소스 모델을 사용할 경우 뚜렷한 성능 향상을 보이며, 훈련 과정에서 발생하는 CO2 배출량을 추정함으로써 환경 비용을 정량화한다.

ABSTRACT

Neural machine translation is known to require large numbers of parallel training sentences, which generally prevent it from excelling on low-resource language pairs. This thesis explores the use of cross-lingual transfer learning on neural networks as a way of solving the problem with the lack of resources. We propose several transfer learning approaches to reuse a model pretrained on a high-resource language pair. We pay particular attention to the simplicity of the techniques. We study two scenarios: (a) when we reuse the high-resource model without any prior modifications to its training process and (b) when we can prepare the first-stage high-resource model for transfer learning in advance. For the former scenario, we present a proof-of-concept method by reusing a model trained by other researchers. In the latter scenario, we present a method which reaches even larger improvements in translation performance. Apart from proposed techniques, we focus on an in-depth analysis of transfer learning techniques and try to shed some light on transfer learning improvements. We show how our techniques address specific problems of low-resource languages and are suitable even in high-resource transfer learning. We evaluate the potential drawbacks and behavior by studying transfer learning in various situations, for example, under artificially damaged training corpora, or with fixed various model parts.

연구 동기 및 목표

• 부족한 병렬 데이터로 인해 성능이 제한되는 저자원 신경 기계 번역 문제를 해결하기 위해.
• 고자원 언어 쌍에서 사전에 훈련된 모델을 재사용함으로써 전이 학습을 해결책으로 탐색하기 위해.
• 특히 저자원 및 고자원 환경에서 전이 학습이 번역 품질에 미치는 영향을 평가하기 위해.
• 예를 들어 손상된 데이터나 고정된 모델 구성 요소와 같은 다양한 조건 하에서 전이 학습의 행동 특성과 단점 분석하기 위해.
• NMT 모델 훈련의 환경적 비용을 정량화하기 위해, GPU 사용 기반으로 CO2 배출량 추정하기 위해.

제안 방법

• 다른 연구자들이 훈련한 NMT 모델을 수정하지 않고도 재사용할 수 있는 개념 증명 방법을 제안한다.
• 첫 번째 단계의 고자원 모델을 전이를 위해 특별히 준비하는 개선된 전이 학습 접근법을 도입하여 성능 향상을 이룬다.
• Byte Pair Encoding과 WordPiece를 통한 서브워드 토큰화를 포함한 표준 NMT 아키텍처를 사용한다.
• 고자원 소스 모델의 인코더 및/또는 디코더 가중치를 초기화하여 대상 모델을 초기화함으로써 전이 학습을 구현한다.
• 저자원 시나리오와 인위적으로 손상된 훈련 데이터를 포함한 여러 언어 쌍에서 광범위한 실험을 수행한다.
• GPU 사용 로그, 전력 소비량 및 지역 전력 혼합 비율(Czech Republic: 516 g CO2/kWh)을 기반으로 CO2 배출량을 추정한다.

실험 결과

연구 질문

• RQ1 저자원 언어 쌍에서 전이 학습이 번역 품질 향상에 얼마나 효과적인가?
• RQ2 훈련 과정을 수정하지 않고도 사전에 훈련된 모델을 재사용할 경우 성능 향상은 어느 정도 기대할 수 있는가?
• RQ3 소스 모델을 전이 학습을 위해 사전에 훈련하는 것이 최종 성능에 어떤 영향을 미치는가?
• RQ4 데이터 손상 또는 고정된 모델 구성 요소 조건에서 전이 학습의 행동 특성은 어떠한가?
• RQ5 NMT 모델 훈련의 환경적 영향, 특히 CO2 배출량 측면에서의 영향은 무엇인가?

주요 결과

• 저자원 언어 쌍에서 전이 학습을 통해 번역 성능 향상이 뚜렷하게 달성되었으며, 특히 전이를 위해 최적화된 소스 모델을 사용할 경우 더욱 두드러진 성능 향상을 보였다.
• 사전에 전이 학습을 위해 소스 모델을 준비하는 본 연구에서 제안된 방법은 기존 모델을 단순히 재사용하는 것보다 더 큰 성능 향상을 이룬다.
• 전이 학습은 데이터 부족 문제를 효과적으로 완화하고, 인위적으로 손상된 훈련 코퍼스 조건에서도 강건성을 향상시킨다.
• 연구의 훈련 런에서 발생한 CO2 배출량은 총 9.8톤으로, 11번의 횡대서 항공편 또는 평균 인구당 2년 분의 배출량과 동일하다.
• NMT 모델 훈련의 환경 비용은 상당히 크며, 실험 전반에서 총 18.9 GWh의 에너지가 소비되었으며, 이는 더 지속 가능한 관행이 필요함을 시사한다.