[논문 리뷰] Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction

Peng Su, Yifan Peng외 1명|arXiv (Cornell University)|2021. 04. 28.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 짧은 의존 관계 경로(SDP)-인식 데이터 증강과 외부 지식 기반을 통한 대규모 사전 훈련을 통해 언어 지식을 통합함으로써 BERT의 표현을 향상시켜 생물의학 관계 추출에 활용하고자 하는 대비 학습 프레임워크를 제안한다. 이 방법은 ChemProt, DDI, PPI 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 예측 이탈을 줄여 모델의 근거에 대한 신뢰도를 높여, 더 강한 근거 의존성을 보여준다.

ABSTRACT

Contrastive learning has been used to learn a high-quality representation of the image in computer vision. However, contrastive learning is not widely utilized in natural language processing due to the lack of a general method of data augmentation for text data. In this work, we explore the method of employing contrastive learning to improve the text representation from the BERT model for relation extraction. The key knob of our framework is a unique contrastive pre-training step tailored for the relation extraction tasks by seamlessly integrating linguistic knowledge into the data augmentation. Furthermore, we investigate how large-scale data constructed from the external knowledge bases can enhance the generality of contrastive pre-training of BERT. The experimental results on three relation extraction benchmark datasets demonstrate that our method can improve the BERT model representation and achieve state-of-the-art performance. In addition, we explore the interpretability of models by showing that BERT with contrastive pre-training relies more on rationales for prediction. Our code and data are publicly available at: https://github.com/udel-biotm-lab/BERT-CLRE.

연구 동기 및 목표

• 대비 학습을 통해 생물의학 관계 추출을 위한 BERT의 텍스트 표현을 향상시키기.
• 최단 의존 관계 경로(SDP)를 통한 언어 지식 통합을 통해 NLP에서의 제한된 텍스트 데이터 증강 문제를 해결하기.
• 외부 지식 기반을 활용해 대규모 훈련 데이터를 구성함으로써 모델의 일반화 능력을 향상시키기.
• 새로운 예측 이탈 지표를 사용해 입력 근거에 대한 모델의 신뢰도를 측정함으로써 모델의 해석 가능성 향상하기.
• 표준 생물의학 관계 추출 벤치마크에서 최신 기술 수준의 성능과 강건성을 입증하기.

제안 방법

• 엔티티 쌍 간의 최단 의존 관계 경로(SDP) 외부의 단어에 동의어 교체를 적용하여 양성 쌍을 생성하는 대비 사전 훈련 단계 도입.
• 모든 SDP 상의 단어를 유지하여 관계 관련 정보를 유지하고 의미 일관성을 확보.
• 원거리 감독에서 유래한 외부 지식 기반(예: 지식 기반)을 활용해 대비 사전 훈련을 위한 추가 훈련 인스턴스 생성.
• 증강된 시각 간의 일치를 최대화하고 음성 쌍과의 유사도를 최소화하는 대비 학습 목표를 사용해 BERT 모델 훈련.
• SDP 무관 입력 편집 후 예측 변화를 측정하는 예측 이탈 지표를 사용해 모델의 신뢰도 평가.
• BioBERT와 PubMedBERT를 백본으로 사용해 세 가지 생물의학 관계 추출 작업(CheMProt, DDI, PPI)에 이 방법 적용.

실험 결과

연구 질문

• RQ1 언어 지식 기반 데이터 증강과 결합된 대비 학습이 생물의학 관계 추출을 위한 BERT의 표현을 향상시키는가?
• RQ2 외부 지식 기반의 통합이 대비 사전 훈련된 BERT 모델의 관계 추출에서의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 대비 사전 훈련이 근거, 특히 최단 의존 관계 경로(SDP)에 대한 모델 예측의 신뢰도를 향상시키는가?
• RQ4 대비 사전 훈련 후 입력 편집에 대한 모델의 강건성은 어느 정도 향상되는가?
• RQ5 새로운 예측 이탈 지표가 생물의학 관계 추출에서 모델 근거의 신뢰도를 효과적으로 측정할 수 있는가?

주요 결과

• 제안된 방법은 ChemProt, DDI, PPI 세 가지 벤치마크 데이터셋에서 모두 최신 기술 수준(SOTA) 성능을 달성하여 표준 BERT 및 PubMedBERT를 능가한다.
• ChemProt 데이터셋에서 BioBERT+CLEK는 예측 이탈을 246에서 191로 22% 감소시켰고, PubMedBERT+CLEK는 248에서 189로 24% 감소시켰다.
• DDI 데이터셋에서 BioBERT+CLEK는 예측 이탈을 111에서 89로 20% 감소시켰고, PubMedBERT+CLEK는 90에서 75로 17% 감소시켰다.
• PPI 데이터셋에서 BioBERT+CLEK는 예측 이탈을 51에서 33로 35% 감소시켰고, PubMedBERT+CLEK는 49에서 34로 31% 감소시켰다.
• 예측 이탈 감소는 대비 사전 훈련된 모델이 최단 의존 관계 경로(SDP)를 근거로 더 강하게 의존함을 시사하며, 이는 해석 가능성과 신뢰도 향상을 의미한다.
• 작은 비-SDP 입력 변화에 대해 모델의 강건성이 향상되어 일반화 및 안정성 향상이 확인되었다.