[논문 리뷰] JaQuAD: Japanese Question Answering Dataset for Machine Reading Comprehension

ByungHoon So, Kyuhong Byun외 2명|arXiv (Cornell University)|2022. 02. 03.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 일본어 위키백과 기사에서 유래한 39,696개의 추출형 QA 쌍을 포함하는 대규모이고 인간이 애너테이션한 일본어 질의응답 데이터셋 JaQuAD를 소개한다. BERT-Japanese를 JaQuAD에서 미세조정하면 테스트 세트에서 F1 점수가 78.92%이고 EM 점수가 63.38%에 이를 것으로 나타나 강력한 베이스라인을 확립하고 있으며, 일본어 MRC 모델의 향상 여지가 크다는 점을 시사한다.

ABSTRACT

Question Answering (QA) is a task in which a machine understands a given document and a question to find an answer. Despite impressive progress in the NLP area, QA is still a challenging problem, especially for non-English languages due to the lack of annotated datasets. In this paper, we present the Japanese Question Answering Dataset, JaQuAD, which is annotated by humans. JaQuAD consists of 39,696 extractive question-answer pairs on Japanese Wikipedia articles. We finetuned a baseline model which achieves 78.92% for F1 score and 63.38% for EM on test set. The dataset and our experiments are available at https://github.com/SkelterLabsInc/JaQuAD.

연구 동기 및 목표

• 일본어 NLP를 위한 대규모이고 고품질의 애너테이션된 QA 데이터셋 부족 문제를 해결하기 위해.
• 다양하고 인간이 애너테이션한 데이터셋을 제공하여 일본어 기계독해 모델의 개발을 지원하기 위해.
• 사전학습된 언어 모델을 사용하여 일본어 QA를 위한 강력한 베이스라인 모델을 수립하기 위해.
• 답안 유형, 질문 유형, 답안 길이에 따라 모델 성능을 분석하여 일본어 MRC에서의 주요 과제를 규명하기 위해.

제안 방법

• 다양한 분야를 포함하는 901개의 일본어 위키백과 기사에서 12,348개의 문맥을 수집하였다.
• 자격 시험에 통과한 인간 애너테이터를 활용하여 스파니쉬 추출 형식의 39,696개의 질문-답안 쌍을 생성하였다.
• 일관된 애너테이션 가이드라인을 기반으로 훈련 세트(31,748개), 개발 세트(3,939개), 테스트 세트(4,009개)로 데이터셋을 분할하였다.
• 시퀀스 길이 384 토큰과 배치 크기 32를 사용하여, 다중언어 기반 트랜스포머 기반 모델인 BERT-Japanese를 JaQuAD 데이터셋에서 미세조정하였다.
• 학습 단계의 첫 10% 동안 선형 웜업을 적용하고, 이후 선형 감쇠를 통해 모델을 최적화하였다.
• 표준 평가 지표인 F1 점수와 정확일치(EM)를 사용하여 성능을 평가하였으며, 결과는 답안 유형, 질문 유형, 답안 길이별로 분석하였다.

실험 결과

연구 질문

• RQ1 모델 성능이 날짜/시간, 인물, 장소 등의 다양한 답안 유형에서 어떻게 달라지나?
• RQ2 문장 구조적 변형, 어휘적 변형, 논리적 추론 등의 질문 유형이 모델 성능에 어떤 영향을 미치는가?
• RQ3 답안 길이가 F1 점수와 EM 점수의 정확도에 어떻게 영향을 미치는가?
• RQ4 베이스라인 BERT-Japanese 모델이 일본어 MRC에 얼마나 잘 일반화되는가? 그리고 주요 실패 원인은 무엇인가?

주요 결과

• BERT-Japanese 베이스라인은 테스트 세트에서 F1 점수 78.92%와 EM 점수 63.38%를 기록하여 강력한 初기 성능를 보였지만, 향상 여지가 크다는 점을 시사한다.
• 날짜/시간 및 인물 답안 유형에서 가장 높은 성능를 보였으며, F1 점수는 각각 87.91%와 78.84%였다. 이는 낮은 모호성의 답안을 더 잘 처리한다는 것을 의미한다.
• 논리적 추론 질문에서 성능이 크게 떨어졌으며, F1 점수는 53.71%, EM 점수는 33.26%로 나타나 복잡한 추론 처리에 어려움을 겪는다는 점을 보여준다.
• 3~4개 토큰의 답안에서 최고 성능를 기록했으며(F1: 81.33%), 매우 짧은(1~2개 토큰) 및 긴(9+개 토큰) 답안에서는 낮은 점수를 기록했다.
• 빈도가 낮은(≤1%) 유형인 방식(Manner)과 원인(Cause)은 훈련 데이터 부족으로 인해 성능이 열악했다.
• 다중 문장 추론과 세계 지식 기반 어휘 변형을 요구하는 질문 유형은 F1 점수 약 75~76%로 평균 수준에 가까웠지만, 문장 구조적 변형(87.06%)에 비해 여전히 낮은 성능를 보였다.