[논문 리뷰] idT5: Indonesian Version of Multilingual T5 Transformer

Mukhlish Fuadi, Adhi Dharma Wibawa외 1명|arXiv (Cornell University)|2023. 02. 02.

Edcuational Technology Systems인용 수 5

한 줄 요약

이 논문은 다국어 mT5 아키텍처에서 유도된 더 작은 단일 언어 T5 모델인 idT5를 소개한다. idT5는 인도네시아어 전용으로 특화된 모델로, mT5 모델을 단일 언어 버전으로 희석함으로써 감성 분석에서 77.18%의 정확도를 달성했으며, 이는 mT5보다 8% 높은 성능이다. 또한 모델 크기를 최대 58%까지 줄여 더 빠른 추론과 더 낮은 메모리 사용량을 실현하였다.

ABSTRACT

Indonesian language is spoken by almost 200 million people and is the 10th most spoken language in the world, but it is under-represented in NLP (Natural Language Processing) research. A sparsity of language resources has hampered previous work on Indonesian. The Transformer is a new architecture rapidly becoming dominant for NLP, surpassing alternatives like convolutional and recurrent neural networks. T5 (Text-to-Text Transfer Transformer) is a Transformer model that converts all text-based language problems to text-to-text format for English. The multilingual variant is mT5 (multilingual T5) which has shown promising results on many NLP tasks across languages. However, the size of this multilingual model is a drawback for its application in real production applications, which sometimes require only one language. In this study, the mT5 model was adapted for only one language, Indonesian, resulting in a pre-trained T5 model that was specific only for Indonesian with a smaller size. For performance comparison, we fine-tuned this model and the mT5 model to the Sentiment Analysis (SA), Question Generation (QG), and Question Answering (QA) tasks with the exact mechanism and dataset. Fine-tuned model based on our model achieved 77.18% accuracy on SA, 8% higher than the mT5-based model, and obtained nearly the same score as the mT5-based model on QG and QA. The results confirm that it is possible to produce a smaller pre-trained model that maintains comparable yields while reducing the model size by up to 58%. In addition, the resulting model requires less memory, loads faster, and inference times faster.

연구 동기 및 목표

• 제한된 언어 자원으로 인해 자연어 처리 연구에서 인도네시아어가 부족하게 다뤄지고 있는 문제를 해결하기 위해.
• 다국어 모델의 계산 비용을 줄이기 위해 인도네시아어에 특화된 단일 언어 버전을 개발하기 위해.
• 특화된 T5 모델을 미세조정하여 인도네시아어 자연어 처리 작업의 성능을 향상시키기 위해.
• 더 작은 단일 언어 모델이 하류 작업에서 더 큰 다국어 모델을 능가하거나 동등하게 성능을 내는지 평가하기 위해.
• 모델 압축을 통해 다국어 모델을 단일 언어로 미세조정하면 성능을 손상시키지 않고도 더 빠른 추론과 낮은 메모리 사용량을 달성할 수 있음을 입증하기 위해.

제안 방법

• 대규모 인도네시아어 텍스트 코퍼스에 대해 mT5 모델을 미세조정하여 단일 언어 T5 버전을 생성하기 위해.
• 언어의 문법과 의미를 최적화하기 위해 모델을 인도네시아어 텍스트 전용으로 훈련하기 위해.
• 다국어 능력을 제거함으로써 모델 크기를 줄여 더 효율적인 아키텍처를 얻기 위해.
• 세 가지 작업에서 idT5와 mT5 간의 공정한 비교를 위해 동일한 미세조정 절차와 데이터셋을 적용하기 위해.
• 표준 자연어 처리 벤치마크 사용: 감성 분석, 질문 생성, 질의 응답.
• 추론 속도, 메모리 사용량, 정확도를 평가하여 효율성과 성능을 비교하기 위해.

실험 결과

연구 질문

• RQ1 특히 인도네시아어에 대해 훈련된 단일 언어 T5 모델이 인도네시아어 자연어 처리 작업에서 다국어 mT5를 능가할 수 있는가?
• RQ2 인도네시아어 자연어 처리 작업에서 성능 저하 없이 모델 크기를 얼마나 줄일 수 있는가?
• RQ3 단일 언어 모델의 추론 속도와 메모리 사용량은 다국어 기준 모델과 비교해 어떻게 되는가?
• RQ4 mT5를 인도네시아어 전용 단일 언어 모델로 미세조정하면 감성 분석 작업에서 다국어 버전보다 성능이 향상되는가?
• RQ5 더 작은 전문화된 모델이 인도네시아어 질문 생성 및 질문 응답 작업에서 mT5와 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• idT5는 감성 분석 작업에서 77.18%의 정확도를 기록했으며, 이는 mT5 기반 모델보다 8% 높은 성능이다.
• 질문 생성 및 질문 응답 작업에서 idT5는 mT5와 거의 동일한 성능을 유지했다.
• idT5는 원본 mT5 아키텍처 대비 최대 58%의 모델 크기를 줄였다.
• 작은 크기 덕분에 메모리 사용량이 적고 더 빨리 로딩되었다.
• idT5의 추론 시간은 mT5보다 빨라 더 높은 효율성을 확인했다.
• 결과적으로 다국어 모델을 단일 언어로 미세조정하면 저자원 언어인 인도네시아어에 대해 더 높은 성능과 더 큰 효율성을 달성할 수 있음을 확인했다.