[논문 리뷰] On Optimal Transformer Depth for Low-Resource Language Translation

Elan van Biljon, Arnu Pretorius외 1명|arXiv (Cornell University)|2020. 04. 09.

Natural Language Processing Techniques참고 문헌 11인용 수 20

한 줄 요약

이 논문은 저자원 신경 기계 번역에서 최적의 트랜스포머 깊이를 조사하며, 영어-세츠와나어, 세페디어, 아프리카누어 번역 과제에서 얕거나 중간 정도 깊이의 모델(에코더 3층, 디코더 3층)이 더 깊은 모델(12층)보다 성능이 뛰어나다는 것을 발견한다. 더 적은 파라미터와 덜 많은 학습 시간을 사용했음에도 불구하고, 중간 깊이의 모델은 영어-아프리카누어 번역에서 새로운 최고의 BLEU 점수 72.43을 기록했으며, 이는 이전 최고 기록인 35.26보다 두 배 이상 높은 성능이다.

ABSTRACT

Transformers have shown great promise as an approach to Neural Machine Translation (NMT) for low-resource languages. However, at the same time, transformer models remain difficult to optimize and require careful tuning of hyper-parameters to be useful in this setting. Many NMT toolkits come with a set of default hyper-parameters, which researchers and practitioners often adopt for the sake of convenience and avoiding tuning. These configurations, however, have been optimized for large-scale machine translation data sets with several millions of parallel sentences for European languages like English and French. In this work, we find that the current trend in the field to use very large models is detrimental for low-resource languages, since it makes training more difficult and hurts overall performance, confirming previous observations. We see our work as complementary to the Masakhane project ("Masakhane" means "We Build Together" in isiZulu.) In this spirit, low-resource NMT systems are now being built by the community who needs them the most. However, many in the community still have very limited access to the type of computational resources required for building extremely large models promoted by industrial research. Therefore, by showing that transformer models perform well (and often best) at low-to-moderate depth, we hope to convince fellow researchers to devote less computational resources, as well as time, to exploring overly large models during the development of these systems.

연구 동기 및 목표

• 저자원 신경 기계 번역에서 트랜스포머 깊이의 영향을 조사하는 것.
• 큰 모델이 최적화하기 어려운 저자원 환경에서 매우 깊은 트랜스포머를 사용하는 기존 경향을 도전하는 것.
• 저자원 언어 쌍에서 성능과 계산 효율성의 균형을 이루는 최적의 깊이 범위를 규명하는 것.
• 드롭아웃가 있는 ReLU 네트워크에서의 신호 전파 이론적 통찰을 바탕으로, 깊은 아키텍처에서 안정적인 정보 흐름이 제한될 수 있음을 이론적으로 정당화하는 것.
• 저자원 공동체의 계산 부담을 줄이기 위해 더 작고 효율적인 모델을 권장하는 것.

제안 방법

• 영어-세츠와나어, 세페디어, 아프리카누어 번역 과제에서 얕은(2층), 중간(6층), 깊은(12층) 트랜스포머 변종을 학습시켰다.
• Martinus & Abbott(2019)가 사전 처리한 Autshumato 데이터셋을 사용하여 이전 연구와의 비교 가능성을 확보했다.
• 멀티헤드 어텐션, 피드포워드 네트워크, 레이어 정규화를 포함한 표준 트랜스포머 구성 요소를 적용했다.
• 원래 트랜스포머 아키텍처와 일관되게, 전반적으로 드롭아웃과 ReLU 활성화 함수를 사용했다.
• 성능 상충 관계를 평가하기 위해 다양한 깊이에서의 BLEU 점수를 비교하는 추론 실험을 수행했다.
• 신호 전파 이론적 통찰( Schoenholz et al., 2016; Pretorius et al., 2018)을 바탕으로 깊이 선택을 이끌었다.

실험 결과

연구 질문

• RQ1 저자원 신경 기계 번역에서 트랜스포머 깊이를 늘리면 성능이 향상되는가?
• RQ2 저자원 환경에서 트랜스포머 모델의 최적 깊이 범위는 성능과 학습 안정성의 균형을 이루는가?
• RQ3 더 얕거나 중간 깊이의 트랜스포머가 저자원 번역 과제에서 표준 12층 설정보다 성능이 뛰어나지 않는가?
• RQ4 드롭아웃가 있는 ReLU 네트워크에서의 이론적 신호 전파 제약은 트랜스포머의 효과적 깊이를 어느 정도 제한하는가?
• RQ5 더 작은 모델이 저자원 NMT에서 계산 비용을 줄이며 최고의 성능을 달성할 수 있는가?

주요 결과

• 중간 깊이 모델(에코더 3층, 디코더 3층)은 영어-아프리카누어 번역에서 새로운 최고의 BLEU 점수 72.43을 기록했으며, 이는 이전 최고 기록인 35.26보다 두 배 이상 높은 성능이다.
• 중간 깊이 모델은 영어-세츠와나어(30.49 BLEU 대비 28.07)와 영어-아프리카누어 번역 과제에서 모두 이전 베이스라인을 초월했다.
• 약 반수의 파라미터와 더 적은 학습 시간을 사용했음에도 불구하고, 중간 깊이 모델은 세 가지 저자원 언어 쌍 중 두 개에서 뛰어난 성능을 냈다.
• 깊은 모델(12층)은 세 과제 모두에서 중간 깊이 모델보다 성능이 열 劣했으며, 이는 저자원 환경에서 깊이 증가가 해로울 수 있음을 시사한다.
• 세페디어 번역 모델은 이전 베이스라인보다 성능이 열 劣했지만, 베이스라인 재현 시도 결과 유사한 성능를 기록했으며, 이는 데이터 또는 하이퍼파라미터 민감성의 가능성을 시사한다.
• 결과는 드롭아웃과 ReLU 활성화 함수로 인한 신호 열화가 매우 깊은 트랜스포머에서 안정적인 정보 흐름을 제한하며, 이는 중간 깊이를 선호하는 것을 뒷받침한다.