[논문 리뷰] Low-Resource Language Modelling of South African Languages

Stuart Mesham, Luc Hayward외 2명|arXiv (Cornell University)|2021. 04. 01.

Topic Modeling참고 문헌 33인용 수 10

한 줄 요약

이 논문은 저자원 남아프리카 언어인 이지줄루어와 세페디어에 대해 바이트-페어 인코딩(BPE)을 사용한 오픈-보기어 언어 모델을 평가한다. 작은 규모의 데이터셋에서 잘 정규화된 RNN(AWD-LSTM 및 QRNN)이 n-gram, 피드포워드, 그리고 트랜스포머 모델보다 우수한 성능을 보였으며, 다국어 학습을 통해 관련된 누니 및 소토-트swana 언어들 간에 성능 향상이 이루어졌다.

ABSTRACT

Language models are the foundation of current neural network-based models for natural language understanding and generation. However, research on the intrinsic performance of language models on African languages has been extremely limited, which is made more challenging by the lack of large or standardised training and evaluation sets that exist for English and other high-resource languages. In this paper, we evaluate the performance of open-vocabulary language models on low-resource South African languages, using byte-pair encoding to handle the rich morphology of these languages. We evaluate different variants of n-gram models, feedforward neural networks, recurrent neural networks (RNNs), and Transformers on small-scale datasets. Overall, well-regularized RNNs give the best performance across two isiZulu and one Sepedi datasets. Multilingual training further improves performance on these datasets. We hope that this research will open new avenues for research into multilingual and low-resource language modelling for African languages.

연구 동기 및 목표

• 아프리카어, 특히 저자원 남아프리카어에 대한 내재적 언어 모델링 성능에 대한 연구 부족을 해결한다.
• 이지줄루어와 세페디어와 같은 복합어형 벤유-코코어 언어에서의 데이터 부족과 형태학적 복잡성 문제를 해결한다.
• 작은 규모의 저자원 데이터셋에서 다양한 신경망 아키텍처(n-gram, 피드포워드, RNN, 트랜스포머)의 성능을 평가한다.
• 유사한 남아프리카어들 간의 다국어 학습이 아키텍처 변경 없이 언어 모델링 성능을 향상시키는지 조사한다.
• 바이트-페어 인코딩(BPE)이 저자원 환경에서 형태학적 풍부성과 오픈-보기어 모델링을 다루는 데 유용한지 입증한다.

제안 방법

• 어휘 크기를 조정할 수 있는 바이트-페어 인코딩(BPE)을 사용해 단어를 서브워드 단위로 토큰화하여 어휘의 흐트러짐을 줄인다(예: 이지줄루어에선 8000, 세페디어에선 2000).
• 다양한 언어 모델 아키텍처를 학습하고 평가한다: n-gram 모델, 피드포워드 신경망(FFNN), 순환 신경망(LSTM, AWD-LSTM, QRNN), 트랜스포머.
• 모델 성능을 비교하기 위해 주로 문자당 비트(Bits-per-Character, BPC)를 평가 지표로 사용한다.
• 특히 AWD-LSTM과 QRNN 모델의 과적합을 방지하기 위해 드롭아웃과 가중치 감소 등의 정규화 기법을 구현한다.
• 여러 관련된 남아프리카어들(예: 누니 및 소토-트와나 그룹)의 텍스트를 하나의 학습 세트로 결합하여 다국어 학습을 수행한다.
• 단일어, 동일어군 내, 언어군 간, 전체 다국어 설정에 대해 별도의 모델을 학습하며, 각 설정에 맞게 초모수를 최적화한다.

실험 결과

연구 질문

• RQ1 n-gram, FFNN, RNN, 트랜스포머와 같은 다양한 신경 언어 모델 아키텍처가 이지줄루어와 세페디어 같은 저자원 남아프리카어에서 어떻게 성능을 내는가?
• RQ2 잘 정규화된 RNN(AWD-LSTM 및 QRNN)이 복합어형 언어에서 저자원 환경에서 트랜스포머와 간단한 모델보다 뛰어난 성능을 내는가?
• RQ3 유사한 남아프리카어들 간의 다국어 학습이 아키텍처 변경 없이 언어 모델링 성능을 향상시키는가?
• RQ4 BPE 기반 서브워드 토크나이제이션은 벤유-코코어 언어에서 형태학적 풍부성과 큰 단어 수준 어휘의 과제를 어느 정도 완화하는가?
• RQ5 동일 언어군에 속하는 언어에서 학습하는 것과 다른 유사 언어군에 속하는 언어에서 학습하는 데서 성능 차이가 나는가?

주요 결과

• 잘 정규화된 RNN(AWD-LSTM 및 QRNN)이 모든 세 개의 데이터셋(이지줄루어 및 세페디어)에서 가장 뛰어난 성능을 기록했으며, 트랜스포머와 단순 모델을 모두 압도했다.
• AWD-LSTM 및 QRNN 모델은 세페디어 데이터셋에서 각각 1.331 및 1.334의 테스트 BPC 스코어를 기록했고, 이지줄루어 데이터셋에선 각각 1.298 및 1.391을 기록했다.
• 다국어 학습이 성능 향상에 크게 기여했다: 모든 9개의 비유럽 남아프리카어를 포함한 최고의 모델은 이지줄루어에서 BPC 1.298, 세페디어에서 BPC 1.331을 기록했다.
• 동일 언어군(예: 이지줄루어에선 모두 누니)에서 학습하면 성능 향상이 뚜렷했으며, 세페디어에 대해선 소토-트와나 언어군에서 누니 언어군보다 더 큰 성과 향상이 있었다.
• n-gram 및 FFNN 모델은 성능이 열악하고 일관성 없었으며, 학습 속도와 성능 사이의 상충 관계가 있었고, n-gram은 더 빠르지만 정확도가 떨어졌다.
• BPE는 형태학적 복잡성을 효과적으로 관리했으며, 오픈-보기어 모델링을 가능하게 하고 저자원 환경에서의 데이터 흐트러짐을 줄였다.