[논문 리뷰] Indic-Transformers: An Analysis of Transformer Language Models for Indian Languages

Kushal Jain, Adwait Deshpande외 3명|arXiv (Cornell University)|2020. 11. 04.

Topic Modeling인용 수 24

한 줄 요약

이 논문은 히ند어, 벤갈어, 텔루구어를 위해 특별히 피나이팅된 단어장의 트랜스포머 언어 모델—BERT, DistilBERT, RoBERTa, XLM-RoBERTa—를 제안하고 평가하며, 텍스트 분류에서 최신 기술 수준(SOTA) 성능을 달성한다. 전체 모델을 피나이팅하는 것과 하류 분류기와 함께 특징 추출기로 사용하는 것을 비교하여, 제한된 데이터 조건에서도 경쟁 가능한 성능을 달성할 수 있음을 보여주며, 커뮤니티 사용을 위해 모델 체크포인트와 통합된 QA 데이터셋을 공개한다.

ABSTRACT

Language models based on the Transformer architecture have achieved state-of-the-art performance on a wide range of NLP tasks such as text classification, question-answering, and token classification. However, this performance is usually tested and reported on high-resource languages, like English, French, Spanish, and German. Indian languages, on the other hand, are underrepresented in such benchmarks. Despite some Indian languages being included in training multilingual Transformer models, they have not been the primary focus of such work. In order to evaluate the performance on Indian languages specifically, we analyze these language models through extensive experiments on multiple downstream tasks in Hindi, Bengali, and Telugu language. Here, we compare the efficacy of fine-tuning model parameters of pre-trained models against that of training a language model from scratch. Moreover, we empirically argue against the strict dependency between the dataset size and model performance, but rather encourage task-specific model and method selection. We achieve state-of-the-art performance on Hindi and Bengali languages for text classification task. Finally, we present effective strategies for handling the modeling of Indian languages and we release our model checkpoints for the community : https://huggingface.co/neuralspace-reverie.

연구 동기 및 목표

• 히ند어, 벤갈어, 텔루구어의 자연어처리(NLP) 연구에서의 부족한 표현을 해결하기 위해, 히нд어, 벤갈어, 텔루구어를 위한 단어장 트랜스포머 모델을 훈련하고 평가하는 것.
• 전체 사전 훈련된 모델을 피나이팅하는 것과 작업에 특화된 헤드를 사용한 특징 추출기로 사용하는 것 간의 성능을 비교하는 것.
• 저자원 인도어 환경에서 데이터셋 크기가 모델 성능을 결정하는 데 엄격하게 관련되는지 조사하는 것.
• 훈련된 모델 체크포인트와 통합된 QA 데이터셋(mergedQuAD)을 공개하여 향후 인도어 NLP 연구를 지원하는 것.

제안 방법

• 히нд어, 벤갈어, 텔루구어를 위한 대규모 단어장 텍스트에서 BERT, DistilBERT, RoBERTa, XLM-RoBERTa의 네 가지 단어장 트랜스포머 변종을 훈련시켰다.
• 다양한 데이터 및 피나이팅 전략을 적용한 세 가지 실험 설정을 통해 세 가지 하류 작업(POS 태깅, 텍스트 분류, 질의 응답)에서 모델을 평가하였다.
• 다양한 모델 성능을 평가하기 위해 다국어 대비 모델(예: mBERT, XLM-RoBERTa)과 비교하였다.
• 맥락 기반 임bedding 위에 다양한 신경 헤드(LSTM, BiLSTM, 피드포워드, 트랜스포머)를 사용하여 특징 추출의 효과를 평가하였다.
• RoBERTa에서 바이트 수준 BPE 토크나이저를 사용하고, 특히 질의 응답 작업에서의 성능에 미치는 영향을 분석하였다.
• Hugging Face에서 모델 체크포인트를 공개하고, 히нд어용으로 통합된 XQuAD 및 MLQA 데이터셋인 mergedQuAD를 오픈소스로 제공하였다.

실험 결과

연구 질문

• RQ1 히нд어어 등 인도어어에 대해 사전 훈련된 단어장 트랜스포머 모델을 새로 훈련시키는 것이 다국어 모델보다 더 높은 성능을 내는가?
• RQ2 저자원 인도어 환경에서 데이터셋 크기와 하류 작업 성능 간의 상관관계는 어느 정도인가?
• RQ3 가벼운 헤드(예: LSTM)를 사용한 사전 훈련된 트랜스포머를 특징 추출기로 사용하는 것이 전체 피나이팅에 비해 경쟁 가능한 결과를 낼 수 있는가?
• RQ4 토크나이저 선택(예: 바이트 수준 BPE)이 특히 질의 응답 작업에서 인도어어의 모델 성능에 어떤 영향을 미치는가?
• RQ5 여러 데이터셋(예: XQuAD 및 MLQA)을 결합함으로써 히нд어용 질의 응답 모델의 훈련 및 평가에 어떤 영향을 미치는가?

주요 결과

• 저자들은 설정 C에서 단어장 모델을 사용하여 히нд어 및 벤갈어 텍스트 분류 작업에서 최신 기술 수준 성능을 달성했으며, 기존 베이스라인을 초월하였다.
• 질의 응답 작업에서는 모델이 TyDiQA 골드 패스제이스 기준을 넘지 못했으며, 이는 다국어 데이터셋 전체를 사용해 훈련된 모델의 교차 언어 전이 이점이 매우 크다는 것을 시사한다.
• 단어장 모델은 다국어 대비 모델에 비해 근소한 향상만 보였으며, 일부 작업에서는 다국어 모델이 충분할 수 있음을 시사한다.
• 가벼운 헤드(LSTM)를 사용한 트랜스포머 특징 추출기로도 경쟁 가능한 성능을 달성했으며, 특히 자원 제약으로 인해 전체 피나이팅이 어려운 경우 유용하다.
• 특히 질의 응답 작업에서 바이트 수준 BPE 토크나이저 선택이 성능에 명백한 영향을 미쳤다.
• 단어장 훈련 데이터가 더 작음에도 불구하고, 텔루구어 모델은 질의 응답 작업에서 잘 수행되었으며, 이는 작업 전용 데이터셋 크기가 단어장 코퍼스 크기보다 더 중요할 수 있음을 시사한다.