[논문 리뷰] ParsiNLU: A Suite of Language Understanding Challenges for Persian

Daniel Khashabi, Arman Cohan외 23명|arXiv (Cornell University)|2020. 12. 11.

Topic Modeling참고 문헌 73인용 수 7

한 줄 요약

ParsiNLU는 페르시아어 이해를 위한 첫 번째 종합 벤치마크를 소개하며, 독해력, 다중 선택 형 질문 응답, 텍스트 함의, 감성 분석, 질문 어조 변형, 기계 번역을 포함한 여섯 가지 고수준 NLU 과제를 포함한다. 이는 현지어 사용자들의 주관적 평가와 다양한 데이터 수집 방법을 통해 구축되었다. mT5-XL과 같은 대규모 다국어 모델이 강력한 성능을 보이긴 하지만, 대부분의 모델은 인간보다 유의미하게 뒤처지며, 특히 추론 중심 과제에서의 격차가 두드러져 페르시아어 NLU 분야에 큰 격차가 존재하고 있으며, 단순 데이터 확장 외의 고급 아키텍처 개발이 필요하다는 점을 시사한다.

ABSTRACT

Despite the progress made in recent years in addressing natural language understanding (NLU) challenges, the majority of this progress remains to be concentrated on resource-rich languages like English. This work focuses on Persian language, one of the widely spoken languages in the world, and yet there are few NLU datasets available for this rich language. The availability of high-quality evaluation datasets is a necessity for reliable assessment of the progress on different NLU tasks and domains. We introduce ParsiNLU, the first benchmark in Persian language that includes a range of high-level tasks -- Reading Comprehension, Textual Entailment, etc. These datasets are collected in a multitude of ways, often involving manual annotations by native speakers. This results in over 14.5$k$ new instances across 6 distinct NLU tasks. Besides, we present the first results on state-of-the-art monolingual and multi-lingual pre-trained language-models on this benchmark and compare them with human performance, which provides valuable insights into our ability to tackle natural language understanding challenges in Persian. We hope ParsiNLU fosters further research and advances in Persian language understanding.

연구 동기 및 목표

• 페르시아어는 널리 사용되지만 자원이 부족한 언어이므로, 고품질 NLU 벤치마크의 부족 문제를 해결하기 위해.
• 독창적인 과제인 질문 어조 변형과 독해력 평가를 포함한 다양한 고수준 NLP 과제에 대해 표준화된 평가 프레임워크를 구축하기 위해.
• 모델 성능을 校정하고 향후 연구를 이끌기 위해 인간의 최상위 성능 점수를 제공하기 위해.
• 페르시아어 NLU 과제에서 단일 언어 및 다국어 미세조정된 사전학습 모델의 효과성을 평가하기 위해.
• 다양한 데이터 수집 전략을 활용한 종합적이고 고품질의 벤치마크를 공개함으로써 페르시아어 NLU 분야의 연구를 촉진하기 위해.

제안 방법

• 현지 페르시아어 사용자를 활용해 주관적 평가를 통해 여섯 가지 다른 NLU 과제를 구축하여 언어적 및 문화적 적합성을 확보하였다.
• 검색 엔진 자동완성, 이전 대학 입시 시험 문제, 수동 코딩 등을 포함한 다양한 방법을 통해 데이터를 수집하여 다양성과 품질을 확보하였다.
• 페르시아어 데이터에 대해 미세조정된 최신의 단일 언어 및 다국어 모델(예: mT5, RoBERTa)을 평가에 활용하였다.
• 현지어 사용자들의 합의를 통해 인간 최상위 성능 점수를 보고하여 신뢰할 수 있는 성능 기준을 설정하였다.
• 페르시아어 전용, 영어 전용, 양언어를 동시에 학습한 모델을 비교하는 분석 실험을 통해 전이 가능성의 정도를 평가하였다.
• 자동 평가 지표와 인간 평가를 조합하여 데이터셋 품질과 과제 일관성을 검증하였다.

실험 결과

연구 질문

• RQ1 현재 최신의 단일 언어 및 다국어 모델은 페르시아어의 다양한 고수준 NLU 과제에서 얼마나 잘 성능을 내는가?
• RQ2 특히 추론 중심 과제에서 인간 전문가와 기계 모델 간의 성능 격차는 어느 정도이며, 그 격차는 어떤가?
• RQ3 영어 사전학습 모델이 페르시아어 NLU 과제로 일반화될 수 있는 정도는 어느 정도이며, 영어와 페르시아어 데이터를 함께 학습하면 성능 향상이 이루어지는가?
• RQ4 기존의 페르시아어 NLU 데이터셋은 새로운 수집 기법을 통해 데이터 품질, 커버리지 또는 평가 범위 측면에서 향상될 수 있는가?
• RQ5 복잡한 페르시아어 NLU 과제에서 인간과 모델 간의 성능 격차를 줄이기 위해 어떤 아키텍처나 학습 개선이 필요한가?

주요 결과

• ParsiNLU 과제에서 인간의 성능은 전 과제에서 높으며, 현지어 사용자 간의 높은 일치도를 보이며 데이터 품질이 높다는 점을 시사한다.
• 대부분의 최신 모델, 특히 중간 크기의 모델은 인간보다 유의미하게 뒤처지며, 다중 선택 질문 응답 과제에서 40% 이상의 성능 격차가 존재한다.
• 가장 큰 모델인 mT5-XL은 질문 어조 변형 과제에서 인간 수준에 근접한 성능을 내지만, 다른 과제에서는 여전히 뒤처지며, 모델 크기만으로는 충분하지 않음을 시사한다.
• mT5와 같은 다국어 모델은 영어에서 페르시아어로의 제로샷 전이 능력이 뛰어나며, 특히 MNLI나 QQP와 같은 영어 데이터셋에서 유래한 과제에서 두드러진다.
• 영어와 페르시아어 데이터를 함께 학습시키면 대부분의 과제에서 성능 향상이 이루어지지만, 모델의 강점 간 갈등이 발생할 수 있어 성능 향상이 보장되지는 않는다.
• '수학 및 논리'와 '문학' 질문에서의 열악한 성능는 현재 모델이 다단계 추론과 추상적 해석 능력에서 어려움을 겪고 있음을 보여주며, 데이터 스케일을 넘어서 아키텍처적 한계가 존재함을 시사한다.