[논문 리뷰] PerCQA: Persian Community Question Answering Dataset

Naghme Jamali, Yadollah Yaghoobzadeh외 1명|arXiv (Cornell University)|2021. 12. 25.

Expert finding and Q&A systems인용 수 5

한 줄 요약

이 논문은 989개의 질문과 21,915개의 주석이 달린 대규모 페르시아어 커뮤니티 질의응답(CQA) 데이터셋인 PerCQA를 소개한다. 이는 인기 있는 페르시아어 포럼인 Ninisite에서 유래한 것으로, 단일 언어(파르스BERT) 및 다국어(XLM-RoBERTa) 사전 훈련된 언어 모델을 사용하여 강력한 베이스라인을 수립하였다. 그 결과, 영어 SemEvalCQA 데이터셋으로 XLM-R을 미세조정한 결과, 단일 언어 파르스BERT 대비 매크로 F1 점수가 +3% 향상되어 페르시아어 답변 선택 분야에서 새로운 최고 성능을 기록하였다.

ABSTRACT

Community Question Answering (CQA) forums provide answers for many real-life questions. Thanks to the large size, these forums are very popular among machine learning researchers. Automatic answer selection, answer ranking, question retrieval, expert finding, and fact-checking are example learning tasks performed using CQA data. In this paper, we present PerCQA, the first Persian dataset for CQA. This dataset contains the questions and answers crawled from the most well-known Persian forum. After data acquisition, we provide rigorous annotation guidelines in an iterative process, and then the annotation of question-answer pairs in SemEvalCQA format. PerCQA contains 989 questions and 21,915 annotated answers. We make PerCQA publicly available to encourage more research in Persian CQA. We also build strong benchmarks for the task of answer selection in PerCQA by using mono- and multi-lingual pre-trained language models

연구 동기 및 목표

• NLP 연구를 위한 고품질, 공개 가능한 페르시아어 CQA 데이터셋의 부족을 해결하기 위해.
• 실제 포럼 데이터를 활용한 페르시아어 답변 선택, 질문 검색, 전문가 찾기 연구를 가능하게 하기 위해.
• 높은 품질의 일관성 있는 레이블링을 보장하기 위해 철저한 주석 가이드라인과 도구를 개발하기 위해.
• 단일 언어 및 다국어 사전 훈련된 언어 모델을 사용하여 답변 선택을 위한 강력한 베이스라인을 수립하기 위해.
• 페르시아어 CQA 포럼의 사용성과 품질을 향상시키는 NLP 시스템의 개발을 촉진하기 위해.

제안 방법

• Ninisite, 페르시아어에서 가장 인기 있는 포럼에서 989개의 질문과 21,915개의 답변을 웹 스크래핑을 통해 추출하였다.
• 답변을 Good, Bad, Potential 세 가지 레이블로 레이블링하기 위한 상세하고 반복적인 주석 가이드라인을 개발하였다.
• 레이블링 과정을 간소화하고 가속화하기 위해 내부에서 개발한 주석 도구를 구축하였다.
• 다국어 호환성을 확보하기 위해 SemEvalCQA 영어 데이터셋의 구조를 그대로 모방하여 데이터셋을 구성하였다.
• 다양한 모델을 평가하였으며, PV-Cnt, BiLSTM-attention, RCNN, CETE를 포함한 모델들을 다섯 가지 단어 임베딩(Word2vec, FastText, 파르스BERT, mBERT, XLM-RoBERTa)을 사용하여 평가하였다.
• 영어 SemEvalCQA 데이터셋으로 XLM-R 및 mBERT를 미세조정한 후 PerCQA에서 평가하여 다국어 간 전이 학습을 테스트하였다.

실험 결과

연구 질문

• RQ1 실제 커뮤니티 포럼에서 일관성 있는 주석을 가진 고품질 대규모 페르시아어 CQA 데이터셋을 구축할 수 있는가?
• RQ2 비맥락적 임베딩과 비교할 때, 단일 언어 및 다국어 사전 훈련된 언어 모델은 페르시아어 답변 선택에서 어떻게 성능을 내는가?
• RQ3 영어 CQA 데이터셋에서의 지식 전이가 페르시아어 답변 선택 성능 향상에 얼마나 기여하는가?
• RQ4 저자원 환경에서 주석 품질과 일관성은 후속 모델 성능에 어떤 영향을 미치는가?
• RQ5 어느 모델 아키텍처와 임베딩 유형이 페르시아어 CQA 작업에서 가장 강력한 베이스라인을 제공하는가?

주요 결과

• PerCQA는 989개의 질문과 21,915개의 주석이 달린 답변을 포함하여, 공개된 페르시아어 CQA 데이터셋으로서 최초의 사례이다.
• 영어 SemEvalCQA 데이터셋으로 미세조정한 XLM-RoBERTa 모델은 PerCQA에서 매크로 F1 점수 61.14점을 기록하였으며, 파르스BERT(58.07)보다 3.07점 높은 성능을 보였다.
• PerCQA 데이터셋으로 미세조정한 다국어 모델인 XLM-R 및 mBERT는 단일 언어 파르스BERT보다 성능이 뛰어나, 다국어 사전 훈련의 이점이 있음을 시사한다.
• 영어에서 페르시아어로의 다국어 간 전이 학습은 성능 향상에 크게 기여하였으며, XLM-R은 제로샷 설정에서 매크로 F1 52.48점, 미세조정 설정에서 61.14점의 성능을 기록하였다.
• 비맥락적 임베딩(Word2vec, FastText) 대비 매크로 임베딩(ParsBERT, XLM-R)이 모든 베이스라인에서 뚜렷한 성능 향상을 보였다.
• XLM-R 임베딩을 사용한 CETE 모델이 가장 높은 성능을 기록하였으며, 이는 트랜스포머 기반 매크로 모델링이 페르시아어 답변 선택에 매우 효과적임을 보여준다.