[논문 리뷰] FarsTail: A Persian Natural Language Inference Dataset

Hossein Amirkhani, Mohammad AzariJafari외 4명|arXiv (Cornell University)|2020. 09. 18.

Natural Language Processing Techniques인용 수 15

한 줄 요약

이 논문은 다수의 선택지 문제를 이용해 최소한의 주석 처리와 다단계 프로세스를 통해 구성된, 10,367개의 샘플을 가진 첫 번째 대규모 페르시아어 자연어 추론(NLI) 데이터셋인 FarsTail을 소개한다. 최고의 모델인 mBERT는 테스트 정확도 83.38%를 기록했으며, 이는 향후 향상 여지가 크고 모델이 데이터셋의 강한 편향을 악용하고 있음을 시사한다.

ABSTRACT

Natural language inference (NLI) is known as one of the central tasks in natural language processing (NLP) which encapsulates many fundamental aspects of language understanding. With the considerable achievements of data-hungry deep learning methods in NLP tasks, a great amount of effort has been devoted to develop more diverse datasets for different languages. In this paper, we present a new dataset for the NLI task in the Persian language, also known as Farsi, which is one of the dominant languages in the Middle East. This dataset, named FarsTail, includes 10,367 samples which are provided in both the Persian language as well as the indexed format to be useful for non-Persian researchers. The samples are generated from 3,539 multiple-choice questions with the least amount of annotator interventions in a way similar to the SciTail dataset. A carefully designed multi-step process is adopted to ensure the quality of the dataset. We also present the results of traditional and state-of-the-art methods on FarsTail including different embedding methods such as word2vec, fastText, ELMo, BERT, and LASER, as well as different modeling approaches such as DecompAtt, ESIM, HBMP, and ULMFiT to provide a solid baseline for the future research. The best obtained test accuracy is 83.38% which shows that there is a big room for improving the current methods to be useful for real-world NLP applications in different languages. We also investigate the extent to which the models exploit superficial clues, also known as dataset biases, in FarsTail, and partition the test set into easy and hard subsets according to the success of biased models. The dataset is available at https://github.com/dml-qom/FarsTail

연구 동기 및 목표

• 페르시아어(페르시아어)는 이란, 아프가니스탄, 타지키스탄에서 약 1억 1,000만 명이 사용하는 저자원 언어이지만, 고품질의 현지 NLI 데이터셋이 부족한 문제를 해결하기 위해.
• 체계적이고 다단계적인 데이터 생성 프로세스를 통해 인간 주석 편향을 최소화한 대규모 고품질 페르시아어 NLI 데이터셋을 개발하기 위해.
• 다국어 및 저자원 언어 이해 연구를 위한 페르시아어에서의 NLP 모델 평가 기준을 제공하기 위해.
• 간단한 모델이 악용하는 패턴을 식별하여 FarsTail 데이터셋의 편향을 분석하고, 이를 바탕으로 테스트 세트를 쉬운 부분과 어려운 부분으로 분할하기 위해.

제안 방법

• 3,539개의 다수 선택지 문제에서 유도된 전제 문장에 대해 각각 세 개의 가설을 생성: 참일 경우(정답), 모순일 경우(오답), 중립일 경우(관련 없는 웹 스니펫).
• 실제 세계 지식에 기반한 웹 스니펫을 사용하여 참과 중립 가설의 자연스러움을 확보하고, 인위적인 요소를 줄였다.
• 네 단계의 레이블링 및 필터링 프로세스를 적용: 한 명의 주석자에 의한 初기 레이블링, 이후 네 명의 별도 재레이블링을 거치며, 최소 4명 이상이 일치한 샘플만 유지.
• 재작업 및 재레이블링을 포함한 다단계 품질 제어 프로토콜을 도입하여 고품질 데이터 확보.
• word2vec, fastText, ELMo, BERT, LASER, DecompAtt, ESIM, HBMP, ULMFiT 등 다양한 모델을 학습 및 평가하여 강력한 기준 성능 확보.
• 두 가지 단순 모델을 사용해 데이터셋 편향을 분석: 하나는 가설 내용에만 기반한 모델, 다른 하나는 전제-가설 간 겹침(코사인 유사도)을 기반으로 한 모델이며, 이들의 예측을 바탕으로 테스트 세트를 쉬운 세트와 어려운 세트로 분할.

실험 결과

연구 질문

• RQ1 최근에 소개된 대규모 페르시아어 NLI 데이터셋에서 기존의 딥 러닝 모델들이 얼마나 효과적인가, 그리고 어떤 성능 기준을 설정할 수 있는가?
• RQ2 최신 기술 모델들이 FarsTail 데이터셋의 표면적 편향(예: 어휘 겹침, 가설 전용 패턴 등)을 어느 정도 악용하는가?
• RQ3 다양한 모델 아키텍처와 임베딩 방법은 FarsTail 데이터셋에서 어떻게 성능을 내며, 어떤 조합이 가장 높은 정확도를 낼 수 있는가?
• RQ4 편향된 모델 예측 기반으로 테스트 세트를 의미 있는 쉬운 세트와 어려운 세트로 분할할 수 있는가, 그리고 이러한 세트 간 모델 성능은 어떻게 달라지는가?
• RQ5 데이터셋 편향이 모델 일반화에 미치는 영향은 무엇이며, 페르시아어 NLP에서 분포 외 데이터 평가를 어떻게 향상시킬 수 있는가?

주요 결과

• FarsTail에서 가장 높은 성능을 기록한 모델인 mBERT는 테스트 정확도 83.38%를 달성하여, 페르시아어 NLI 모델의 향상 여지가 크다는 것을 시사한다.
• 단순한 가설 전용 모델은 55.31%의 정확도를 기록했으며, 중립 클래스에서 가장 높은 성능를 보였고, 이는 가설 내용 자체가 일부 예측 신호를 제공한다는 것을 의미한다.
• 전제와 가설 벡터 간 코사인 유사도를 기반으로 한 겹침 기반 모델은 56.46%의 정확도를 기록했으며, 중립 대 참/모순 쌍을 더 잘 구분함을 보였다.
• 테스트 샘플 497개(32%)가 두 편향 모델 모두에서 쉬운 것으로 분류되었고, 313개(20%)는 둘 다 어려운 것으로 분류되어, 두 모델이 서로 다른 편향 패턴을 포착하고 있음을 확인했다.
• 모델 성능이 어려운 세트에서 크게 떨어졌으며, 특히 겹침 기반 모델에서 두드러졌다. 이는 모델이 어휘 겹침에 더 의존하고 있으며, 가설 전용 패턴보다는 그렇지 않다는 것을 시사한다.
• 결과적으로, 모델 성공의 상당 부분이 깊은 의미 이해보다는 어휘 겹침과 같은 데이터셋 편향 악용에 기인하고 있음을 확인했다.