[논문 리뷰] Revised JNLPBA Corpus: A Revised Version of Biomedical NER Corpus for Relation Extraction Task

Ming-Siang Huang, Po‐Ting Lai외 2명|arXiv (Cornell University)|2019. 01. 29.

Biomedical Text Mining and Ontologies참고 문헌 46인용 수 19

한 줄 요약

이 논문은 생물의학 관계 추출(BRE) 작업에 특화된 수동으로 코딩된 생물의학 분야의 개별명 인식(ner) 데이터셋인 개선된 JNLPBA 코퍼스를 소개한다. 분야 전문가의 감시 하에 보완된 애너테이션과 핵심 엔터티(단백질, DNA, RNA, 세포선, 세포 유형)에 집중한 지침을 통해, 세 가지 시스템(BANNER, Gimli, NERSuite)에서 평균적으로 10% 향상된 NER 성능을 보이며, 단백질-단백질 상호작용 및 이벤트 추출과 같은 후속 BRE 작업에 대한 적합성이 향상됨을 입증한다.

ABSTRACT

The advancement of biomedical named entity recognition (BNER) and biomedical relation extraction (BRE) researches promotes the development of text mining in biological domains. As a cornerstone of BRE, robust BNER system is required to identify the mentioned NEs in plain texts for further relation extraction stage. However, the current BNER corpora, which play important roles in these tasks, paid less attention to achieve the criteria for BRE task. In this study, we present Revised JNLPBA corpus, the revision of JNLPBA corpus, to broaden the applicability of a NER corpus from BNER to BRE task. We preserve the original entity types including protein, DNA, RNA, cell line and cell type while all the abstracts in JNLPBA corpus are manually curated by domain experts again basis on the new annotation guideline focusing on the specific NEs instead of general terms. Simultaneously, several imperfection issues in JNLPBA are pointed out and made up in the new corpus. To compare the adaptability of different NER systems in Revised JNLPBA and JNLPBA corpora, the F1-measure was measured in three open sources NER systems including BANNER, Gimli and NERSuite. In the same circumstance, all the systems perform average 10% better in Revised JNLPBA than in JNLPBA. Moreover, the cross-validation test is carried out which we train the NER systems on JNLPBA/Revised JNLPBA corpora and access the performance in both protein-protein interaction extraction (PPIE) and biomedical event extraction (BEE) corpora to confirm that the newly refined Revised JNLPBA is a competent NER corpus in biomedical relation application. The revised JNLPBA corpus is freely available at iasl-btm.iis.sinica.edu.tw/BNER/Content/Revised_JNLPBA.zip.

연구 동기 및 목표

• 기존 생물의학 NER 코퍼스가 관계 추출 작업을 지원하는 데에 한계가 있음을 해결하기 위해.
• 기존 JNLPBA 코퍼스의 애너테이션 품질과 일관성을 향상시켜 생물의학 관계 추출에 더 적합하게 만들기 위해.
• 핵심 엔터티 유형을 유지하면서 기존 데이터셋의 결함을 해결하는 개선된 코퍼스를 개발하기 위해.
• 개선된 코퍼스에서 NER 시스템의 성능을 평가하고 기존 JNLPBA 코퍼스와 비교하기 위해.
• 개선된 코퍼스가 단백질-단백질 상호작용 추출(PPIE) 및 생물의학 이벤트 추출(BEE)과 같은 교차 도메인 관계 추출 작업에서 유용한가를 검증하기 위해.

제안 방법

• 분야 전문가들이 새로운 집중적인 애너테이션 지침을 사용하여 원본 JNLPBA 코퍼스를 재애너테이션하였다.
• 모든 요약문이 일관성과 엔터티 경계 및 유형 정확도 향상을 위해 수동으로 보정되었다.
• 개선된 코퍼스는 원래의 엔터티 유형인 단백질, DNA, RNA, 세포선, 세포 유형을 유지한다.
• BANNER, Gimli, NERSuite 등의 NER 시스템을 원본 및 개선된 코퍼스에서 동일한 조건으로 훈련 및 평가하였다.
• 교차 검증 실험을 실시하여 JNLPBA 또는 개선된 JNLPBA에서 훈련하고 PPIE 및 BEE 데이터셋에서 테스트하여 이식 가능성 평가를 수행하였다.
• 성능 평가에는 F1 스코어를 사용하여 NER 품질 향상을 정량화하였다.

실험 결과

연구 질문

• RQ1 개선된 애너테이션 지침이 생물의학 텍스트에서 NER 시스템의 성능을 향상시키는가?
• RQ2 개선된 JNLPBA 코퍼스는 기존 JNLPBA 코퍼스에 비해 NER 성능을 얼마나 향상시키는가?
• RQ3 개선된 JNLPBA 코퍼스는 후속 생물의학 관계 추출 작업을 위한 신뢰할 수 있는 훈련 자료로 활용될 수 있는가?
• RQ4 개선된 코퍼스에서 훈련된 NER 시스템의 성능은 PPIE 및 BEE와 같은 다른 관계 추출 벤치마크로 일반화되는가?
• RQ5 기존 JNLPBA 코퍼스에 존재하던 특정 애너테이션 문제들은 개선된 버전에서 어떻게 해결되었는가?

주요 결과

• BANNER, Gimli, NERSuite의 세 가지 테스트된 NER 시스템 모두 개선된 JNLPBA 코퍼스에서 기존 JNLPBA 코퍼스 대비 평균적으로 10% 높은 F1 스코어를 기록하였다.
• 개선된 코퍼스는 복잡하거나 모호한 생물의학 용어에서 특히 애너테이션의 일관성과 정확도가 향상됨을 보였다.
• 교차 검증 결과, 개선된 JNLPBA 코퍼스에서 훈련된 모델이 PPIE 및 BEE 데이터셋으로의 일반화 능력이 뛰어나 관계 추출 파이프라인에 적합함을 확인하였다.
• 수동 보정 과정은 기존 JNLPBA 코퍼스의 알려진 결함, 즉 일관성 없는 엔터티 경계와 유형 오분류 문제를 성공적으로 해결하였다.
• 개선된 JNLPBA 코퍼스는 공개되어 있으며 생물의학 텍스트 마이닝에서 강력한 훈련 및 평가를 지원하도록 설계되었다.
• 본 연구는 고품질의 작업 특화 NER 코퍼스가 후속 관계 추출 성능을 크게 향상시킬 수 있음을 확인하였다.