[논문 리뷰] Conceptualized Representation Learning for Chinese Biomedical Text Mining

Ningyu Zhang, Qianghuai Jia외 4명|arXiv (Cornell University)|2020. 08. 25.

Topic Modeling참고 문헌 11인용 수 55

한 줄 요약

MC-BERT는 전체 엔티티와 전체 구간 마스킹을 도입하여 생물의학 지식을 중국어 BERT 사전학습에 주입하고, ChineseBLUE 벤치마크를 공개하며 중국 생물의학 NLP 태스크에서 최첨단 성능을 달성한다.

ABSTRACT

Biomedical text mining is becoming increasingly important as the number of biomedical documents and web data rapidly grows. Recently, word representation models such as BERT has gained popularity among researchers. However, it is difficult to estimate their performance on datasets containing biomedical texts as the word distributions of general and biomedical corpora are quite different. Moreover, the medical domain has long-tail concepts and terminologies that are difficult to be learned via language models. For the Chinese biomedical text, it is more difficult due to its complex structure and the variety of phrase combinations. In this paper, we investigate how the recently introduced pre-trained language model BERT can be adapted for Chinese biomedical corpora and propose a novel conceptualized representation learning approach. We also release a new Chinese Biomedical Language Understanding Evaluation benchmark ( extbf{ChineseBLUE}). We examine the effectiveness of Chinese pre-trained models: BERT, BERT-wwm, RoBERTa, and our approach. Experimental results on the benchmark show that our approach could bring significant gain. We release the pre-trained model on GitHub: https://github.com/alibaba-research/ChineseBLUE.

연구 동기 및 목표

• 도메인 특유의 어휘 분포와 길게 꼬인 용어 때문에 중국어 생물의학 텍스트에 BERT를 적용하도록 동기를 부여한다.
• 지식이 주입된 사전학습으로 표현에 생물의학 개념을 주입하는 MC-BERT를 제안한다.
• 다양한 태스크를 위한 대규모 중국어 생물의학 언어 이해 평가 벤치마크인 ChineseBLUE를 공개한다.

제안 방법

• biomedical Chinese 코퍼스에서 BERT-base를 시작으로 MC-BERT를 사전학습한다.
• 지식 그래프 및 NER 도구에서 얻은 전체 엔티티를 마스킹하기 위해 전체 엔티티 마스킹을 사용한다.
• Autophrase 및 Biomedical Phrase 자원에서 추출되고 규칙 및 fastText로 필터링된 미세한 생물의학 구절을 다루기 위해 전체 구간 마스킹을 사용한다.
• 학습률이 극도로 커미팅 없는 1e-5 근처의 학습으로 재학습 끊김 현상을 피한다.
• 다음 문장 예측을 위해 입력을 문장 기반의 양성 샘플과 문서 간 음성 샘플로 나눈다.
• 단어 임베딩 학습을 안내하기 위해 문장, 구절, 엔티티를 도입하고 별도의 지식 임베딩을 추가하지 않는다.

실험 결과

연구 질문

• RQ1 도메인 특유의 생물의학 지식을 사전학습에 주입하는 것이 중국어 생물의학 NLP 태스크를 개선할 수 있는가?
• RQ2 엔티티 수준 및 구절 수준 마스킹 전략이 중국어 생물의학 텍스트의 표현 학습에 어떤 영향을 미치는가?
• RQ3 지식이 주입된 사전학습 접근법이 중국어 생물의학 언어 이해 평가(ChineseBLUE) 태스크에서 표준 BERT 변형보다 향상된 성능을 제공하는가?

주요 결과

• MC-BERT는 ChineseBLUE에서 여러 중국어 생물의학 태스크에서 BERT-base보다 우수한 성능을 보인다.
• 무엇을 제거했는지에 따른 Ablation 연구에서 전체 엔티티 마스킹이나 전체 구절 마스킹을 제거하면 성능이 하락하는 것을 보여 주며, 이들 전략의 이점을 강조한다.
• RoBERTa 및 다른 중국어 사전학습 모델과 비교할 때, 생물의학 사전학습을 포함한 MC-BERT가 평가된 태스크에서 우수한 성능을 제공한다.