[논문 리뷰] Pre-trained Language Model for Biomedical Question Answering

Wonjin Yoon, Jinhyuk Lee외 3명|arXiv (Cornell University)|2019. 09. 18.

Topic Modeling참고 문헌 28인용 수 5

한 줄 요약

이 논문은 일반 도메인 SQuAD 데이터셋에서의 전이 학습을 활용하여 생물의학 분야 질문 응답 성능을 향상시키는 BioBERT 기반 질문 응답 시스템을 제안한다. 사실형, 목록형, 예/아니요 질문 유형에 대해 일관된 모델 아키텍처를 적용하고, 맞춤형 사전 및 사후 처리를 통해, 7회차 BioASQ 챌린지(작업 7b, 단계 B)에서 이전 모델을 모두 능가하는 최신 기술 성과를 달성하였다.

ABSTRACT

The recent success of question answering systems is largely attributed to pre-trained language models. However, as language models are mostly pre-trained on general domain corpora such as Wikipedia, they often have difficulty in understanding biomedical questions. In this paper, we investigate the performance of BioBERT, a pre-trained biomedical language model, in answering biomedical questions including factoid, list, and yes/no type questions. BioBERT uses almost the same structure across various question types and achieved the best performance in the 7th BioASQ Challenge (Task 7b, Phase B). BioBERT pre-trained on SQuAD or SQuAD 2.0 easily outperformed previous state-of-the-art models. BioBERT obtains the best performance when it uses the appropriate pre-/post-processing strategies for questions, passages, and answers.

연구 동기 및 목표

• 도메인 특화 사전 훈련된 언어 모델을 사용하여 생물의학 분야 질문 응답 성능을 향상시키기 위해.
• 대규모 일반 도메인 QA 데이터셋에서의 전이 학습을 활용하여 생물의학 QA 데이터의 제한된 레이블링 문제를 해결하기 위해.
• 구조적 변경 없이 사실형, 목록형, 예/아니요 질문 유형을 모두 지원하는 통합 모델 아키텍처를 개발하기 위해.
• 사전 처리 및 사후 처리 전략이 생물의학 QA 시스템 성능에 미치는 영향을 조사하기 위해.

제안 방법

• SQuAD 및 SQuAD 2.0에서 사전 훈련된 BioBERT를 미세 조정하여, 이후 BioASQ 데이터셋에서의 추가 미세 조정을 위해 전이 학습을 수행하였다.
• 질문과 문단을 구분하기 위해 [CLS] 토큰과 세그먼트 임베딩을 사용한 단일 시퀀스 입력 형식을 사용하였다.
• 공유된 BERT 인코더 아키텍처를 기반으로 하여, 사실형, 목록형, 예/아니요 질문 유형에 특화된 출력 레이어를 적용하였다.
• 생물의학 용어에 맞게 조정된 정규화 및 토크나이제이션을 포함한 사전 처리 전략을 구현하였다.
• 예측을 정밀하게 조정하기 위해 답변 스팸 필터링 및 확률 임계값 설정과 같은 사후 처리 기법을 적용하였다.
• 생물의학 어휘에서의 OOV 단어 및 서브워드 유닛을 다루기 위해 WordPiece 토크나이제이션을 사용하였다.

실험 결과

연구 질문

• RQ1 SQuAD와 같은 일반 도메인 QA 데이터셋에서 사전 훈련된 BioBERT가 생물의학 질문 응답 작업 성능을 향상시키는가?
• RQ2 최소한의 구조적 변경으로도 다양한 생물의학 질문 유형에 효과적으로 작동하는 통합 모델 아키텍처가 가능한가?
• RQ3 다양한 사전 처리 및 사후 처리 전략이 생물의학 QA 시스템의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ4 SQuAD 2.0에서의 전이 학습이 SQuAD 단독보다 생물의학 QA 성능 향상에 더 큰 기여를 하는가?

주요 결과

• SQuAD 또는 SQuAD 2.0에서 사전 훈련된 BioBERT는 BioASQ 7b 단계 B 챌린지에서 이전 최신 기술 모델을 크게 능가하였다.
• 7회차 BioASQ 챌린지의 다섯 개 테스트 배치 전반에서 최고 성능을 기록하여, 사실형, 목록형, 예/아니요 질문 유형 모두 최신 기술 기준을 경신하였다.
• 적절한 사전 및 사후 처리 전략의 적용으로 성능 향상이 두드러졌으며, 특히 목록형 질문에서 잘못된 스팸은 임계값 설정을 통해 효과적으로 필터링되었다.
• 사실형 질문에서는 상위 예측 답변을 선택하는 것으로 충분했지만, 목록형 질문은 다중 예측 및 오류 스팸을 처리하기 위해 신중한 사후 처리가 필요하였다.
• 단일 공유 모델 구조와 최소한의 아키텍처 수정으로도 다양한 질문 유형에서 높은 성능 유지를 유지하여 강건성을 입증하였다.
• 어떤 잘못된 예측에서도 높은 신뢰도를 보였음에도 불구하고, 전체적으로 모델 성능이 뛰어나 일반 도메인 사전 훈련에서의 지식 전이 효과가 효과적임을 시사하였다.