[논문 리뷰] Beyond English-Only Reading Comprehension: Experiments in Zero-Shot Multilingual Transfer for Bulgarian

Momchil Hardalov, Ivan Koychev외 1명|arXiv (Cornell University)|2019. 08. 05.

Topic Modeling참고 문헌 39인용 수 6

한 줄 요약

이 논문은 다국어 BERT를 영어 RACE 데이터셋에 피니터닝하고 외부 위키백과 지식을 활용하여 불가리아어 다중 선택 독해 문제에 대해 제로샷 다국어 전이 방법을 제안한다. 정보 검색 파이프라인을 통해 관련 맥락 문장을 검색함으로써 모델은 42.23%의 정확도를 달성하였으며, 이는 기준선인 24.89%보다 유의미하게 높은 성능이다. 이는 불가리아어의 자원이 적은 조건에서도 효과적인 다국어 지식 전이가 가능함을 보여준다.

ABSTRACT

Recently, reading comprehension models achieved near-human performance on large-scale datasets such as SQuAD, CoQA, MS Macro, RACE, etc. This is largely due to the release of pre-trained contextualized representations such as BERT and ELMo, which can be fine-tuned for the target task. Despite those advances and the creation of more challenging datasets, most of the work is still done for English. Here, we study the effectiveness of multilingual BERT fine-tuned on large-scale English datasets for reading comprehension (e.g., for RACE), and we apply it to Bulgarian multiple-choice reading comprehension. We propose a new dataset containing 2,221 questions from matriculation exams for twelfth grade in various subjects -history, biology, geography and philosophy-, and 412 additional questions from online quizzes in history. While the quiz authors gave no relevant context, we incorporate knowledge from Wikipedia, retrieving documents matching the combination of question + each answer option. Moreover, we experiment with different indexing and pre-training strategies. The evaluation results show accuracy of 42.23%, which is well above the baseline of 24.89%.

연구 동기 및 목표

• 고자원 영어에서 저자원 불가리아어로의 제로샷 전이가 다중 선택 독해 과제에서 효과적으로 작용하는지 조사하기 위해.
• 저자원 언어에서의 맥락 기반 학습 데이터 부족 문제를 위키백과 외부 지식을 활용하여 해결하기 위해.
• 슬라브어 언어에 특화된 사전학습이 불가리아어 독해에 미치는 영향을 다국어 BERT와 도메인 특화 사전학습의 효과성 측정을 위해.
• 졸업 시험과 온라인 퀴즈 자료에서부터 새로운 고품질 불가리아어 독해 데이터셋을 설계하고 공개하기 위해.
• 검색 전략, 텍스트 전처리 및 피니터닝 초모수의 영향을 모델 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 다중 선택 독해 과제를 위해 영어 RACE 데이터셋에 다국어 BERT를 피니터닝하였다.
• 사전 제공된 맥락이 없는 2,636개의 질문을 졸업 시험과 온라인 퀴즈에서 수집하여 새로운 불가리아어 데이터셋을 구축하였다.
• 질문-답변 쌍을 사용하여 위키백과를 검색하고 관련 증거 문장을 검색하는 파이프라인을 구현하였다.
• 검색 품질 향상을 위해 n-gram, 정지어 제거, 어간 추출, 문단 분할 등의 텍스트 전처리 기법을 적용하였다.
• 다양한 인덱싱 전략을 실험: 소형 슬라이딩 윈도우(크기 400, 스트라이드 100), 대형 윈도우(1,600, 400), 문단 분할.
• 슬라브어 위키백과 기사와 러시아 뉴스 기사의 균형 잡힌 코퍼스를 사전학습하여 도메인 특화 적응 효과를 평가하였다.

실험 결과

연구 질문

• RQ1 영어 독해 데이터에 피니터닝된 다국어 BERT가 제로샷 설정에서 불가리아어 독해 과제에 효과적으로 일반화될 수 있는가?
• RQ2 다국어 BERT를 직접 사용하는 것과 비교해 슬라브어 언어 코퍼스에 대해 사전학습을 수행하면 불가리아어 독해 성능에 어떤 영향을 미치는가?
• RQ3 슬라이딩 윈도우, 문단 분할, 윈도우 크기 중 어떤 검색 전략이 맥락 인식 추론에 가장 우수한 증거 문장 품질을 제공하는가?
• RQ4 어간 추출, 정지어 제거 등의 텍스트 전처리 기법이 검색 파이프라인과 후속 모델 정확도에 어떤 영향을 미치는가?
• RQ5 다양한 과목 카테고리에서 정확도를 극대화하기 위해 각 답변 선택지당 검색된 문서 수는 몇 개일 때 최적이며, 어떤 수치가 가장 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 검색 기반 접근법은 불가리아어 독해 데이터셋에서 42.23%의 정확도를 달성하였으며, 기준선인 24.89%보다 17.34%포인트 높은 성능을 보였다.
• 검색된 문서를 문단 단위로 분할하는 전략이 가장 높은 정확도(42.23%)를 기록하였으며, 소형 및 대형 슬라이딩 윈도우 전략보다 각각 5.7%와 5.69% 높은 성능을 보였다.
• 슬라브어 언어 코퍼스에 대해 사전학습을 수행한 결과 정확도가 9%p 감소하여, 다국어 BERT가 이미 충분한 불가리아어 지식을 내재하고 있으며, 추가 사전학습은 치명적인 기억 상실( catastrophic forgetting) 위험을 증가시킬 수 있음을 시사한다.
• 역사 문제에서 가장 높은 정확도를 기록하였으며, 특히 온라인 퀴즈에서의 문제는 단어 일치 중심이기 때문에 더 높은 성능을 보였다. 반면 지리 문제는 가장 도전적인 카테고리로 38.73%의 정확도를 기록하였다.
• 각 답변 선택지당 검색 결과 목록 길이를 2로 설정했을 때 전체 성능이 가장 우수했으며, 더 긴 목록(예: 10 또는 20)은 대부분의 카테고리에서 성능 저하를 초래하였다.
• 3 에포크로 피니터닝한 결과 1 에포크 대비 1.6% 향상되었지만, 추가 증가는 관찰되지 않아 치명적인 기억 상실을 방지하기 위해 2~3 에포크로 제한하는 것이 바람직하다는 것을 뒷받침한다.