[논문 리뷰] Cascading Adaptors to Leverage English Data to Improve Performance of Question Answering for Low-Resource Languages

Hariom A. Pandya, Bhavik Ardeshna외 1명|arXiv (Cornell University)|2021. 12. 18.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 다국어 트랜스포머(XLM-RoBERTa 및 mBERT)에 언어 어댑터와 작업 어댑터를 단계적으로 적용하여 저자원 언어의 질의응답 성능을 향상시키는 방법을 제안한다. 영어 데이터를 활용함으로써 성능을 향상시킨다. 언어 어댑터(언어적 적응을 위한)와 작업 어댑터(질의응답 특화 미세조정을 위한)를 스택하여 구성함으로써, 특히 제로샷 다국어 전이에서 뚜렷한 성능 향상을 이룩하였으며, 히нд어 및 베트남어와 같은 저자원 언어에서 기준 모델 대비 F1 점수가 최대 15.2% 향상되었다.

ABSTRACT

Transformer based architectures have shown notable results on many down streaming tasks including question answering. The availability of data, on the other hand, impedes obtaining legitimate performance for low-resource languages. In this paper, we investigate the applicability of pre-trained multilingual models to improve the performance of question answering in low-resource languages. We tested four combinations of language and task adapters using multilingual transformer architectures on seven languages similar to MLQA dataset. Additionally, we have also proposed zero-shot transfer learning of low-resource question answering using language and task adapters. We observed that stacking the language and the task adapters improves the multilingual transformer models' performance significantly for low-resource languages.

연구 동기 및 목표

• 제한된 애너테이션 데이터로 인해 저자원 언어의 질의응답 성능 격차를 해결하기 위해.
• 다국어 트랜스포머 모델에서 언어 어댑터와 작업 어댑터를 단계적으로 적용하는 것이 다국어 전이 성능을 향상시킬 수 있는지 조사하기 위해.
• 아랍어, 중국어, 베트남어 등 다양한 언어를 포함한 저자원 언어에서 사전 학습된 어댑터를 활용한 제로샷 전이의 효과를 평가하기 위해.
• Houlsby 대비 Pfeiffer와 같은 다양한 어댑터 아키텍처와 어댑터 스택 전략을 비교하여 최적의 구성 요건을 규명하기 위해.
• 언어별로 특수한 작문 체계(예: 아랍어의 오른쪽에서 왼쪽으로, 중국어의 표준 문자 체계)가 모델 일반화 및 성능에 미치는 영향을 분석하기 위해.

제안 방법

• MLQA와 XQuAD의 병합된 질의응답 데이터셋을 기반으로 XLM-RoBERTa base 및 mBERT를 미세조정하여 저자원 언어의 예시가 충분히 포함되도록 한다.
• 마스크된 언어 모델링(MLM) 목표에 대해 사전 학습된 언어 어댑터를 적용하여 다국어 모델을 특정 언어에 적응시키기 위해 사용한다.
• 언어 어댑터를 작업 어댑터 이전에 단계적으로 스택하여 제로샷 전이가 가능하도록 구성한다. 이는 원본 언어 어댑터를 대체하여 대상 언어 어댑터로 교체함으로써 달성된다.
• AdapterHub에서 제공하는 사전 학습된 작업 어댑터(SQuAD1)를 사용하여 질의응답을 위해 미세조정하며, 기반 모델은 동결하고 어댑터 가중치만 학습한다.
• 두 가지 어댑터 아키텍처인 Houlsby와 Pfeiffer를 구현하여 일곱 개의 언어에서의 최종 성능에 미치는 영향을 평가한다.
• 대상 언어 데이터를 재학습하지 않고도 원본 언어 어댑터를 대체하여 대상 언어 어댑터로 교체함으로써 제로샷 다국어 전이를 수행한다.

실험 결과

연구 질문

• RQ1 영어 학습 데이터만을 사용하여 언어 어댑터와 작업 어댑터를 단계적으로 스택함으로써 저자원 언어의 질의응답 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 어댑터 아키텍처 선택(Houlsby 대비 Pfeiffer)이 저자원 언어 및 고자원 언어에서의 성능에 어떤 영향을 미치는가?
• RQ3 작문 체계 특성(예: 아랍어의 오른쪽에서 왼쪽으로, 중국어의 표준 문자 체계)이 어댑터 기반 모델의 일반화 능력에 어느 정도 영향을 미치는가?
• RQ4 언어 어댑터와 작업 어댑터를 스택함으로써 단일 어댑터 유형을 사용하는 것보다 더 높은 성능을 얻을 수 있는가?
• RQ5 다중 작업 어댑터(MAD-X) 미세조정은 다양한 언어 유형을 가진 저자원 환경에서 다국어 질의응답 성능 향상에 얼마나 효과적인가?

주요 결과

• 언어 어댑터와 작업 어댑터를 스택함으로써, 히нд어 및 베트남어와 같은 저자원 언어에서 기준 모델 대비 F1 점수가 최대 15.2% 향상되었다.
• 언어 어댑터 전용 설정이 일곱 언어 중 다섯 곳(Hindi, German, Spanish, Chinese, English)에서 작업 어댑터 전용 설정을 능가하여 언어적 적응의 강력한 이점이 있음을 시사한다.
• 아랍어는 모든 언어 중에서 가장 열악한 성능을 보였으며, 이는 기반 모델의 왼쪽에서 오른쪽(LTR)으로 학습된 분포와는 상당히 다른 오른쪽에서 왼쪽(RTL) 스크립트 때문일 것이다.
• 중국어는 다른 저자원 언어들보다 성능이 저하되었는데, 이는 수직, 수평 또는 오른쪽에서 왼쪽 레이아웃 등 다양한 작문 체계가 모델을 혼동시킬 수 있기 때문일 것이다.
• Houlsby 대비 Pfeiffer 어댑터 아키텍처 선택이 대부분의 언어에서 성능에 미치는 영향이 거의 없었으며, 이는 어댑터 설계에 대한 강건성을 시사한다.
• 다중 작업 어댑터(MAD-X) 미세조정은 다양한 언어에서 다국어 질의응답 성능을 최첨단 모델을 초월하여 향상시켰으며, 제로샷 전이에 효과적임을 확인했다.