[논문 리뷰] Transformer-Based Models for Question Answering on COVID19

Hillary Ngai, Yoona Park외 2명|arXiv (Cornell University)|2021. 01. 16.

Topic Modeling참고 문헌 22인용 수 17

한 줄 요약

이 논문은 CORD-19 데이터셋을 대상으로 BERT, ALBERT, T5 모델을 기반으로 한 세 가지 트랜스포머 기반 질문-답변 시스템을 제안하며, 의미적 검색(SBERT 또는 LDA)과 미세조정된 QA 헤드를 결합한다. BERT-large는 CovidQA 및 CovidGQA에서 가장 높은 F1 점수(26.32)를 기록했고, ALBERT-base는 가장 높은 정확일치(EM, 13.04)를 기록하여 제한된 레이블 데이터에도 불구하고 뛰어난 성능을 보였다.

ABSTRACT

In response to the Kaggle's COVID-19 Open Research Dataset (CORD-19) challenge, we have proposed three transformer-based question-answering systems using BERT, ALBERT, and T5 models. Since the CORD-19 dataset is unlabeled, we have evaluated the question-answering models' performance on two labeled questions answers datasets extemdash CovidQA and CovidGQA. The BERT-based QA system achieved the highest F1 score (26.32), while the ALBERT-based QA system achieved the highest Exact Match (13.04). However, numerous challenges are associated with developing high-performance question-answering systems for the ongoing COVID-19 pandemic and future pandemics. At the end of this paper, we discuss these challenges and suggest potential solutions to address them.

연구 동기 및 목표

• 제한된 레이블 데이터를 바탕으로 급격히 증가하는 코로나19 문헌에 대응하는 고성능 질문-답변 시스템 개발의 과제를 해결한다.
• 제한된 레이블 데이터셋을 사용하여 트랜스포머 기반 모델(BERT, ALBERT, T5)을 생물의학 질문-답변 과제에 평가한다.
• 의미적 검색(SBERT 또는 LDA)과 미세조정된 트랜스포머 QA 모델을 조합한 하이브리드 QA 시스템을 개발하여 정확도와 효율성을 향상시킨다.
• 검색 및 신경 기반 QA 구성 요소의 통합을 통해 의료 사용자에게 신뢰성과 설명 가능성을 향상시킨다.
• 전이 학습과 소수 샘플 적응을 통해 향후 패닉 대응 QA 시스템의 기초를 마련한다.

제안 방법

• SQuAD v1.1, SNLI, MultiNLI, STS, BioASQ 사실 기반 질문-답변 데이터셋에 BERT-large, ALBERT-base, T5-large를 미세조정하여 QA 능력을 사전학습한다.
• 질문 임베딩과 기사 제목 간의 유사도를 기반으로 관련 기사를 의미적 유사도로 검색하는 Sentence-BERT를 사용한 SBERT-BERT-QA 시스템을 구축한다.
• 사전에 LDA를 사용해 관련 문서를 필터링한 후, 미세조정된 ALBERT-base-uncased QA 모델에 입력하는 LDA-ALBERT-QA 시스템을 구축한다.
• 수집된 문서 내 답변 구간의 시작 및 끝 인덱스를 예측하기 위해 ALBERT 위에 토큰 수준의 분류 헤드를 사용한다.
• F1 및 정확일치(EM) 지표를 사용하여 두 가지 생물의학 질문-답변 벤치마크(CovidQA 및 CovidGQA)에서 모델을 평가한다.
• 데이터 부족 문제를 해결하기 위해 SQuAD v1.1에서 ALBERT를 사전학습한 후, 생물의학 적응을 위해 BioASQ 6b 사실 기반 질문-답변 쌍에 대해 추가로 미세조정한다.

실험 결과

연구 질문

• RQ1 BERT, ALBERT, T5 모델은 자원이 제한된 생물의학 질문-답변 과제에서 어떻게 성능을 내는가?
• RQ2 SBERT 또는 LDA와 트랜스포머 QA 모델을 조합한 하이브리드 검색-QA 시스템은 CORD-19 관련 질문에서 성능을 향상시킬 수 있는가?
• RQ3 BERT-large와 ALBERT-base보다 파arameter 수가 더 많은 T5-large는 왜 성능이 열 劣한가?
• RQ4 현재 트랜스포머 기반 QA 시스템의 주요 한계점은 무엇인가? 특히 자원 부족과 설명 가능성 측면에서 말이다.
• RQ5 소수 샘플 학습과 도메인 특화 사전학습은 패닉 관련 연구에서 QA 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• BERT-large는 CovidQA 데이터셋에서 가장 높은 F1 점수 26.32를 기록하여 ALBERT-base 및 T5-large를 앞섰다.
• ALBERT-base는 동일한 데이터셋에서 가장 높은 정확일치(EM) 점수 13.04를 기록하여 답변 추출의 높은 스파이크 정밀도를 보였다.
• 7억 7천만 개의 파라미터를 가진 T5-large는 모든 지표에서 BERT-large 및 ALBERT-base보다 성능이 열 劣했으며, 이는 질문-답변 전용 과제에서의 사전학습 부족이 원인일 가능성이 높다.
• SBERT-BERT-QA 시스템은 질문과 제목 임베딩 간의 의미적 유사도를 활용해 관련 기사를 효과적으로 검색하여 후속 QA 정확도를 향상시켰다.
• LDA-ALBERT-QA 시스템은 주제 모델링을 통해 QA 추론 이전에 관련이 없는 문서를 필터링하여 검색의 정확도를 향상시켰다.
• 본 연구는 모델 성능이 파라미터 수에 의해 결정되지 않으며, 도메인 특화 사전학습이 생물의학 질문-답변 성능을 크게 향상시킨다는 점을 입증한다.