[논문 리뷰] Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text

Kui Xue, Yangming Zhou외 4명|arXiv (Cornell University)|2019. 08. 21.

Topic Modeling참고 문헌 33인용 수 14

한 줄 요약

이 논문은 최종 BERT 레이어에서 작업별 MASK 행렬을 통해 동적으로 주의 범위를 제한함으로써 BERT를 공동 중국어 의료 엔티티 및 관계 추출을 위해 정밀하게 튜닝하는 집중 주의 메커니즘을 제안한다. 결과적으로 STR-인코더는 冠동맥 조영술 텍스트에서 각각 96.89%의 F1과 88.51%의 F1을 기록하며 최고 성능을 달성하여 이전 방법보다 각각 1.65%와 1.22% 향상되었다.

ABSTRACT

Entity and relation extraction is the necessary step in structuring medical text. However, the feature extraction ability of the bidirectional long short term memory network in the existing model does not achieve the best effect. At the same time, the language model has achieved excellent results in more and more natural language processing tasks. In this paper, we present a focused attention model for the joint entity and relation extraction task. Our model integrates well-known BERT language model into joint learning through dynamic range attention mechanism, thus improving the feature representation ability of shared parameter layer. Experimental results on coronary angiography texts collected from Shuguang Hospital show that the F1-score of named entity recognition and relation classification tasks reach 96.89% and 88.51%, which are better than state-of-the-art methods 1.65% and 1.22%, respectively.

연구 동기 및 목표

• 중국어 의료 텍스트에서 엔티티 유형과 관계 유형 간의 공유 특징을 포착하는 데에 Bi-LSTM 기반 공동 모델의 한계를 해결하기 위해.
• 공유 파rameter 레이어에 BERT의 사전 훈련된 지식을 통합하여 공동 학습에서 특징 표현을 향상시키기 위해.
• NER 및 RC에 대한 작업 관련 토큰에 BERT의 컨텍스트 학습을 집중시키는 동적 주의 메커니즘을 설계하기 위해.
• 공동 학습 방식과 파이프라인 방식이 중국어 의료 텍스트 추출에서 효과적으로 어떻게 작용하는지 평가하기 위해.
• 초기수치 설정 민감도 및 제거 분석이 모델 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 최종 K개의 BERT 레이어에서 주의 메커니즘을 수정하여 작업별 입력 스펜에 집중하는 공유 작업 표현 인코더(STR-인코더)를 도입한다.
• 관계 분류를 위해 두 가지 다른 MASK 행렬을 사용한다: 하나는 두 엔티티에만 주의를 제한하고, 다른 하나는 더 넓은 컨텍스트를 允許한다.
• 동적 범위 주의를 사용하여 BERT의 자기 주의 메커니즘에서 주의 범위를 제어함으로써 작업별 컨텍스트 표현을 가능하게 한다.
• NER 및 RC를 위한 공동 학습 프레임워크에서 STR-인코더를 공유 특징 추출기로 적용한다.
• NER(BIEOS 태깅)와 RC(분류) 모두에 대해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 공동 학습의 이점을 분리하기 위해 NER 및 RC를 별도로 훈련하여 제거 분석을 수행한다.

실험 결과

연구 질문

• RQ1 동적 주의를 갖는 BERT 기반 공유 인코더가 중국어 의료 텍스트에서 공동 엔티티 및 관계 추출을 향상시킬 수 있는가?
• RQ2 제안된 모델에서 MASK 행렬의 선택이 관계 분류 성능에 어떤 영향을 미치는가?
• RQ3 최고의 성능을 얻기 위해 집중 주의 메커니즘을 적용할 BERT 레이어 수(K)는 최적의 수치는 얼마인가?
• RQ4 NER 및 RC의 공동 학습이 각각 별도로 훈련하는 것보다 성능이 뛰어나게 되는가?
• RQ5 초기수치 K와 MASK 설정이 모델 성능에 어떻게 상호작용하는가?

주요 결과

• 제안된 모델은 명명된 엔티티 인식에서 96.89%의 F1을 기록하여 이전 최고 성능보다 1.65%포인트 향상되었다.
• 관계 분류에서 88.51%의 F1을 달성하여 두 번째로 좋은 방법보다 1.22% 향상되었다.
• K=6이고 MASK rc가 식 (13)을 사용할 경우, NER는 최고의 F1 96.77%를 기록하여 더 넓은 주의 범위가 엔티티 인식에 유리함을 시사한다.
• 관계 분류의 경우 K=4이고 MASK rc가 식 (14)를 사용할 때 가장 높은 F1 92.18%를 기록하여 제한된 주의가 RC 성능 향상에 기여함을 나타낸다.
• 공동 학습은 NER와 RC의 F1 성능을 각각 0.52%포인트와 0.82%포인트 향상시켰으며, 별도 훈련 대비 성능 향상을 보였다.
• 제거 분석 결과 공동 학습이 유익한 상호작용 특징을 포착함을 확인했지만, 노이즈가 유입되면서 엔티티 유형 예측 정밀도는 약간 감소하였다.