[논문 리뷰] Unsupervised Pre-training for Biomedical Question Answering

Vaishnavi Kommaraju, Karthick Prasad Gunasekaran외 5명|arXiv (Cornell University)|2020. 09. 27.

Topic Modeling참고 문헌 29인용 수 37

한 줄 요약

논문은 BioBERT와 SciBERT를 생물의학 QA에 평가하고 생물의학 엔터티 언급을 왜곡시키는 자기지도 노이즈 제거 전처리 태스크를 도입하여 BioASQ 과제에서 QA 성능을 향상시킵니다.

ABSTRACT

We explore the suitability of unsupervised representation learning methods on biomedical text -- BioBERT, SciBERT, and BioSentVec -- for biomedical question answering. To further improve unsupervised representations for biomedical QA, we introduce a new pre-training task from unlabeled data designed to reason about biomedical entities in the context. Our pre-training method consists of corrupting a given context by randomly replacing some mention of a biomedical entity with a random entity mention and then querying the model with the correct entity mention in order to locate the corrupted part of the context. This de-noising task enables the model to learn good representations from abundant, unlabeled biomedical text that helps QA tasks and minimizes the train-test mismatch between the pre-training task and the downstream QA tasks by requiring the model to predict spans. Our experiments show that pre-training BioBERT on the proposed pre-training task significantly boosts performance and outperforms the previous best model from the 7th BioASQ Task 7b-Phase B challenge.

연구 동기 및 목표

• BioASQ 사실질문, 리스트 및 예/아니오 QA 작업에서 BioBERT와 SciBERT의 효과를 평가한다.
• 일반 도메인 QA 데이터셋(SQuAD)으로부터 생물의학 QA로의 전이 학습을 조사한다.
• 라벨이 없는 생물의학 텍스트를 활용한 자기지도 노이즈 제거 전처리 태스크를 제안하여 QA 표현을 개선한다.
• 비지도 전처리로 BioASQ 7b/8b 데이터셋에서 기존 베이스라인 대비 이득이 있는지 평가한다.

제안 방법

• BioBERT와 SciBERT를 BioASQ 데이터에 대해 예/아니오, 사실질문, 리스트 질문으로 파인튜닝한다.
• SQuAD, PubMedQA 및 노이즈 제거(비지도) 데이터를 추가로 파인튜닝에 활용한다.
• 맥락에서 생물학적 엔티티가 손상된 상태로 두고 손상된 구간을 올바른 엔티티를 질의로 사용하여 찾아내야 하는 자기지도 노이즈 제거 전처리 태스크를 개발한다.
• 선택적으로 BioSentVec 임베딩으로 예측을 보강하여 유사도를 계산하고 BioBERT/SciBERT 점수와 결합한다.
• 작업별 층(CLS 기반 예/아니오; 사실질문/리스트의 시작/끝 위치)을 학습하고 모든 가중치를 엔드투엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 BioBERT와 SciBERT가 BioASQ 7b/8b 생물의학 QA 작업에서 예/아니오, 사실질문, 리스트 질문에 대해 어떤 성능을 보이는가?
• RQ2 노이즈 제거 목표를 가진 비라벨 데이터의 사전 학습이 표준 파인튜닝에 비해 QA 성능을 향상시키는가?
• RQ3 일반 도메인 QA 데이터셋(SQuAD, PubMedQA)으로의 전이가 생물의학 QA 성능을 향상시키는가?
• RQ4 BioSentVec 임베딩의 QA 성능에 대한 상대적 기여도는 어느 정도인가?

주요 결과

• 자기지도 노이즈 제거가 예/아니오, 사실질문, 리스트 질문에서 베이스라인 대비 성능을 향상시킨다.
• BioBERT와 SciBERT는 여러 데이터 구성에서 생물의학 QA에 대해 비슷한 성능을 보인다.
• 일반 도메인 QA 데이터(SQuAD, PubMedQA)로의 파인튜닝이 생물의학 QA 결과를 향상시킨다.
• BioSentVec는 BioBERT/SciBERT를 보완할 수 있지만 단독으로는 강하지 않다.
• 노이즈 제거 사전 학습은 노이즈가 있는 비지도 데이터에서도 이득을 주며 더 적은 에폭이 필요하다.