[논문 리뷰] A Distant Supervision Corpus for Extracting Biomedical Relationships Between Chemicals, Diseases and Genes

Dongxu Zhang, Sunil Mohan외 2명|arXiv (Cornell University)|2022. 04. 13.

Biomedical Text Mining and Ontologies인용 수 5

한 줄 요약

이 논문은 화학물질, 질병, 유전자 간의 관계를 포함하는 대규모 원거리 지도 학습(biomedical relation extraction) 코퍼스인 ChemDisGene를 소개한다. 이 코퍼스는 80,000개의 초록을 포함하며, 관계가 레이블링되어 있다. CTD 기반 학습 세트와 수작업으로 총정리된 테스트 세트를 결합하여 실세계 시뮬레이션을 위한 엔티티 연결 및 데이터 분할을 향상시켰으며, 평가를 위한 세 가지 딥러닝 베이스라인을 제공함으로써 이전 데이터셋에 비해 커버리지와 품질을 크게 향상시켰다.

ABSTRACT

We introduce ChemDisGene, a new dataset for training and evaluating multi-class multi-label document-level biomedical relation extraction models. Our dataset contains 80k biomedical research abstracts labeled with mentions of chemicals, diseases, and genes, portions of which human experts labeled with 18 types of biomedical relationships between these entities (intended for evaluation), and the remainder of which (intended for training) has been distantly labeled via the CTD database with approximately 78\% accuracy. In comparison to similar preexisting datasets, ours is both substantially larger and cleaner; it also includes annotations linking mentions to their entities. We also provide three baseline deep neural network relation extraction models trained and evaluated on our new dataset.

연구 동기 및 목표

• 화학물질, 질병, 유전자에 대한 대규모 고품질 생물의학 관계 추출 데이터셋의 부족성과 낮은 커버리지 문제를 해결하기 위해.
• 모델의 일반화 능력을 향상시키기 위해 랜덤 분할 대신 출판 일자를 기반으로 한 시간적 분할을 사용하여 실세계 배포 환경을 시뮬레이션하기 위해.
• 화학물질, 질병, 유전자에 대해 최신 PubTator Central 모델을 사용하여 엔티티 연결 정확도를 향상시키기 위해.
• 모델 평가의 신뢰성을 높이기 위해 자동으로 레이블링된(학습용) 및 수작업으로 주석 처리된(평가용) 데이터를 모두 제공하는 벤치마크를 제공하기 위해.
• 미래 연구를 위한 성능 기준을 설정하기 위해 새로운 코퍼스를 기반으로 훈련 및 평가된 세 가지 딥러닝 베이스라인을 제공하기 위해.

제안 방법

• 비교 독성 게놈학 데이터베이스(CTD)를 활용하여 화학물질, 질병, 유전자 간 14종류의 관계 유형을 포함한 80,000개의 초록을 자동으로 원거리 지도 학습으로 레이블링하였다.
• 업데이트된 모델을 사용한 PubTator Central을 활용하여 엔티티 인식 및 연결을 향상시켜 화학물질의 경우 +66.3% F1 향상, 질병의 경우 +3.8%, 유전자 경우 +8.2% 향상 달성.
• 학습 데이터를 출판 일자를 기반으로 분할하여 실세계 배포 환경을 시뮬레이션하고, 랜덤 분할 대비 일반화 능력을 향상시켰다.
• 복잡하고 중첩된 관계 표현을 가진 CTD의 데이터를 정제하고 이진 관계를 추출하여 학습 데이터 품질을 향상시켰다.
• 평가를 위해 도메인 전문가가 수작업으로 주석 처리한 523개의 초록을 포함하는 작은 수작업 테스트 세트를 구축하였으며, 이는 18종류의 관계를 포함한다.
• ChemDisGene 데이터셋에서 세 가지 딥 네트워크 모델(예: 그래프 기반, 자기주의 주의(Self-attention))을 훈련 및 평가하여 성능 기준을 설정하였다.

실험 결과

연구 질문

• RQ1 대규모 원거리 지도 학습 생물의학 관계 추출 코퍼스가 다중 클래스, 다중 레이블 문서 수준 관계 추출에서 딥러닝 모델의 성능과 일반화 능력을 향상시킬 수 있는가?
• RQ2 출판 일자를 기반으로 한 데이터 분할 방식이 랜덤 분할 대비 모델 평가의 정밀도와 실세계 적용 가능성 측면에서 어떻게 비교되는가?
• RQ3 향상된 엔티티 연결 모델이 원거리 지도 학습 데이터의 품질과 유용성을 어느 정도 향상시키는가?
• RQ4 최신 딥러닝 모델이 대규모 약한 지도 학습 코퍼스에서 훈련되고, 더 작은 골드 표준 테스트 세트에서 평가될 경우 얼마나 효과적인가?
• RQ5 새로운 더 크고 청소된 데이터셋을 사용하여 화학물질, 질병, 유전자 간의 관계 추출에 대해 어떤 성능 기준을 설정할 수 있는가?

주요 결과

• ChemDisGene 코퍼스는 약 80,000개의 초록을 포함하며, CTD를 통한 원거리 지도 학습을 통해 약 78%의 정확도를 기록하였다.
• 수작업으로 총정리된 523개의 초록 테스트 세트는 모델의 일반화 능력과 성능 평가를 위한 고품질의 기준을 제공한다.
• 업데이트된 PubTator Central 모델을 사용한 엔티티 연결은 이전 모델 대비 화학물질의 경우 F1 점수를 66.3% 향상시켰으며, 질병의 경우 3.8%, 유전자 경우 8.2% 향상시켰다.
• 랜덤 분할 대신 출판 일자를 기반으로 한 시간적 분할을 사용함으로써 실세계 배포 시나리오를 더 잘 시뮬레이션하고 모델 평가의 신뢰성을 향상시켰다.
• ChemDisGene에서 훈련된 세 가지 베이스라인 딥러닝 모델은 테스트 세트에서 뛰어난 성능을 보이며 향후 연구를 위한 새로운 기준을 설정하였다.
• 특히 엔티티 연결 및 관계 표현 측면에서 기존의 코퍼스에 비해 크기, 청결도, 주석 품질 측면에서 뚜렷한 우수성을 보였다.