[논문 리뷰] Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition

Yun He, Ziwei Zhu외 3명|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 41인용 수 10

한 줄 요약

이 논문은 Wikipedia의 구조화된 문단을 사용하여 질병 기술 텍스트에서 질병 및 요소 레이블을 예측하도록 훈련시킴으로써 BERT 및 생물의학 BERT 변종의 성능을 향상시키기 위한 질병 지식 통합 방법을 제안한다. 이 방법은 건강 NLP 작업 전반에서 성능 향상을 이끌었으며, BioBERT는 MEDIQA-2019에서 72.09%의 정확도를 기록하여 원본 모델 대비 3.8%p 향상되었다.

ABSTRACT

Knowledge of a disease includes information of various aspects of the disease, such as signs and symptoms, diagnosis and treatment. This disease knowledge is critical for many health-related and biomedical tasks, including consumer health question answering, medical language inference and disease name recognition. While pre-trained language models like BERT have shown success in capturing syntactic, semantic, and world knowledge from text, we find they can be further complemented by specific information like knowledge of symptoms, diagnoses, treatments, and other disease aspects. Hence, we integrate BERT with disease knowledge for improving these important tasks. Specifically, we propose a new disease knowledge infusion training procedure and evaluate it on a suite of BERT models including BERT, BioBERT, SciBERT, ClinicalBERT, BlueBERT, and ALBERT. Experiments over the three tasks show that these models can be enhanced in nearly all cases, demonstrating the viability of disease knowledge infusion. For example, accuracy of BioBERT on consumer health question answering is improved from 68.29% to 72.09%, while new SOTA results are observed in two datasets. We make our data and code freely available.

연구 동기 및 목표

• 표준 BERT 사전 훈련이 증상, 진단, 치료와 같은 구조화된 질병 지식을 포착하는 데에 한계가 있음을 해결하기 위해.
• 소비자 건강 질문 응답, 의료 언어 추론, 질병 이름 인식과 같은 건강 관련 NLP 작업에서 성능 향상을 위해 명시적인 질병 지식을 통합하기 위해.
• Wikipedia 섹션을 사용하여 질병 및 요소 예측을 위한 신호를 제공하는 약한 지도 학습 훈련 절차를 개발하기 위해.
• 특정 질병 지식을 통합함으로써 일반 사전 훈련을 초월해 BERT 기반 모델의 성능 향상이 가능함을 입증하기 위해.

제안 방법

• 질병의 '진단' 또는 '치료' 등 특정 요소 섹션에서 텍스트를 추출하여 질병 기술 문단을 구성하기.
• 각 문단에 '질병의 [요소]는 무엇인가요?'와 같은 보조 문장을 추가하여 명시적 지도 신호를 제공하기.
• 보조 문장의 질병 및 요소를 마스킹하고, BERT를 훈련시켜 주어진 문단에서 이를 예측하도록 하여 질병 및 요소 추론의 공동 학습을 가능하게 하기.
• 마스크된 언어 모델링과 질병/요소 예측을 모두 포함하는 다중 작업 목적 함수를 사용하며, 최적화를 향상시키기 위해 원시 로짓을 최대화하는 손실 함수를 적용하기.
• 문단의 계층적 구조를 활용하여 대규모 질병 관련 Wikipedia 문단 코퍼스에서 사전 훈련을 수행하여 지식 통합을 유도하기.
• BioBERT, ClinicalBERT, ALBERT와 같은 여러 BERT 변종에 이 방법을 적용하여 아키텍처 간 일반화 가능성 평가하기.

실험 결과

연구 질문

• RQ1 BERT에 구조화된 질병 지식을 통합함으로써 질문 응답 및 의료 추론과 같은 건강 관련 NLP 작업에서 성능 향상이 가능할 수 있는가?
• RQ2 제안된 질병 지식 통합 방법이 생물의학 NLP 작업에서 표준 마스크된 언어 모델링 사전 훈련보다 우수한가?
• RQ3 질병 또는 요소가 문단에 명시적으로 언급되지 않았을 경우 보조 질문 문장의 포함 여부가 모델 성능에 어떤 영향을 미치는가?
• RQ4 모델이 질병을 예측하는 능력과 요소를 예측하는 능력 중 어느 것이 전체 작업 성능에 더 큰 영향을 미치는가?
• RQ5 이 질병 지식 통합 방법은 생물의학적 및 대규모 아키텍처인 ALBERT와 같은 다양한 BERT 아키텍처로 일반화 가능한가?

주요 결과

• BioBERT의 MEDIQA-2019 소비자 건강 질문 응답 벤치마크 정확도는 질병 지식 통합 후 68.29%에서 72.09%로 상승하여 3.8%p의 절대적 향상이 이루어졌다.
• 이 방법은 두 개의 데이터셋에서 새로운 최고 성능을 기록하여 다양한 작업과 모델에서 일관된 향상이 이루어짐을 입증했다.
• 보조 문장을 제거하면 정확도가 78.23%에서 79.49%로 하락하여, 명시적인 질병 또는 요소 언급이 없는 문단 처리에 있어 그 효과가 입증되었다.
• 질병 예측이 요소 예측보다 더 중요했다: 질병 예측을 제거하면 정확도가 72.90%로 하락한 반면, 요소 예측을 제거했을 땐 더 작은 하락이 발생했다.
• 제안된 질병 통합 작업은 표준 15% 랜덤 마스킹 사전 훈련보다 우수했으며, 정확도 77.06% 대비 전체 방법의 79.49%로, 구조화된 마스킹이 랜덤 마스킹보다 더 효과적임을 시사했다.
• ALBERT는 여러 벤치마크에서 생물의학 BERT 모델과 비교해 유사하거나 더 높은 성능을 기록하여, 더 큰 아키텍처로 확장 가능성을 시사했다.