[논문 리뷰] Extractive Question Answering on Queries in Hindi and Tamil

Adhitya Thirumala, Elisa Ferracane|arXiv (Cornell University)|2022. 09. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 히нд어 및 타밀어를 위한 추출적 질의응답 작업에 대해 다국어 데이터셋을 사용하여 XLM-RoBERTa 및 RoBERTa를 특화한 트랜스포머 모델을 제안하고 평가한다. 히нд어에서 0.958의 Jaccard 점수와 타밀어에서 0.829의 점수를 기록한, 히нд어 및 타밀어 데이터에 별도로 특화된 RoBERTa 모델이 가장 뛰어난 성능을 보였으며, 기준 모델보다 유의하게 뛰어나고, 저자원 인디언 언어에 대해 언어별 특화 학습의 가치를 입증한다.

ABSTRACT

Indic languages like Hindi and Tamil are underrepresented in the natural language processing (NLP) field compared to languages like English. Due to this underrepresentation, performance on NLP tasks (such as search algorithms) in Indic languages are inferior to their English counterparts. This difference disproportionately affects those who come from lower socioeconomic statuses because they consume the most Internet content in local languages. The goal of this project is to build an NLP model that performs better than pre-existing models for the task of extractive question-answering (QA) on a public dataset in Hindi and Tamil. Extractive QA is an NLP task where answers to questions are extracted from a corresponding body of text. To build the best solution, we used three different models. The first model is an unmodified cross-lingual version of the NLP model RoBERTa, known as XLM-RoBERTa, that is pretrained on 100 languages. The second model is based on the pretrained RoBERTa model with an extra classification head for the question answering, but we used a custom Indic tokenizer, then optimized hyperparameters and fine tuned on the Indic dataset. The third model is based on XLM-RoBERTa, but with extra finetuning and training on the Indic dataset. We hypothesize the third model will perform best because of the variety of languages the XLM-RoBERTa model has been pretrained on and the additional finetuning on the Indic dataset. This hypothesis was proven wrong because the paired RoBERTa models performed the best as the training data used was most specific to the task performed as opposed to the XLM-RoBERTa models which had much data that was not in either Hindi or Tamil.

연구 동기 및 목표

• 히нд어 및 타밀어와 같은 인디언 언어가 자연어 처리 분야에서 부족하게 다루워지는 문제를 해결하기 위해 효과적인 추출적 질의응답 시스템을 개발한다.
• 특히 영어 외 언어를 사용하는 사람들이나 저소득 배경을 가진 사람들이 지역 언어에 의존하는 사람들에게 정보 접근성을 향상시킨다.
• 저자원 인디언 언어 QA 작업에 대해 다국어 및 단일 언어 트랜스포머 모델의 성능을 평가한다.
• 히нд어 및 타밀어에서 다국어 사전학습 대비 언어별 특화 학습이 성능 향상에 기여하는지 조사한다.
• 히нд어 및 타밀어 사용자에게 더 효과적으로 서비스할 수 있도록 고성능이고 접근 가능한 QA 시스템을 제공한다.

제안 방법

• 다국어 기반선으로 사용하기 위해 히нд어 및 타밀어 데이터를 결합한 데이터셋에 대해 XLM-RoBERTa를 특화하였다.
• 교차 언어 일반화를 향상시키기 위해 히нд어 및 타밀어 데이터에 별도로 XLM-RoBERTa를 특화하였다.
• WECHSEL 패키지를 사용한 서브워드 토크나이저를 활용하여 각각 히нд어 및 타밀어 QA 데이터에 전용으로 특화된 RoBERTa 모델을 사용하였다.
• 예측된 답변와 진정한 답변 간의 겹침을 측정하기 위해 단어 수준의 Jaccard 점수를 주 평가 지표로 사용하였다.
• 배치 크기 12, 기본 학습률 2×10⁻⁵, 가중치 감소 0.01로 4 에포크 동안 모델을 훈련시켰다.
• 두 단계로 이루어진 데이터 수집 과정을 사용: 원어민이 위키백과 요약문에서 질문을 생성한 후, 동일한 텍스트에서 레이블링된 답변을 추출하였다.

실험 결과

연구 질문

• RQ1 히нд어 및 타밀어의 추출적 질의응답에서 다국어 사전학습(XLM-RoBERTa)과 단일 언어 특화 학습(RoBERTa)의 성능은 어떻게 비교되는가?
• RQ2 공동 다국어 특화 학습 대비 언어별 특화 학습이 저자원 인디언 언어의 성능 향상에 얼마나 기여하는가?
• RQ3 히нд어 및 타밀어의 질의응답 모델에서 주요 오류 패턴은 무엇이며, 단어 분할 및 문법적 차이와는 어떤 관련이 있는가?
• RQ4 WECHSEL을 통한 서브워드 임베딩 전이가 전체 재학습 없이도 영어 사전학습 RoBERTa를 히нд어 및 타밀어에 효과적으로 적응시킬 수 있는가?
• RQ5 훈련 데이터의 불균형(히нд어 67%, 타밀어 33%)이 언어 간 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 히нд어 및 타밀어 데이터에 별도로 특화된 RoBERTa 모델이 가장 높은 성능을 보였으며, 히нд어에서 Jaccard 점수 0.958, 타밀어에서 0.829를 기록하였다.
• XLM-RoBERTa 기반선 모델은 결합된 히нд어 및 타밀어 검증 세트에서 Jaccard 점수 0.656을 기록하였다.
• XLM-RoBERTa+fine-tune 모델은 결합된 데이터셋에서 Jaccard 점수 0.749로 기반선 대비 14.18% 상대적 향상을 보였다.
• RoBERTa+히нд어/타밀어 특화 학습 모델은 XLM-RoBERTa 기반선 대비 36.13% 상대적 향상, XLM-RoBERTa+fine-tune 대비 19.23% 향상된 성능을 보였다.
• 오류 분석 결과, 모델이 종종 답변에 문장 부호(예: 괄호)를 포함하거나 문법적 요소(예: 타밀어에서 'language')를 추가하는 경향이 있어 문법 일반화 능력의 한계를 보였다.
• 모델 간 성능 격차는 특히 문법적·철자적으로 뚜렷한 언어인 타밀어와 히нд어에 대해 언어별 특화 학습의 이점이 뚜렷하다는 것을 시사한다.