[논문 리뷰] Cross-type Biomedical Named Entity Recognition with Deep Multi-Task Learning

Xuan Wang, Yu Zhang외 6명|arXiv (Cornell University)|2018. 01. 30.

Topic Modeling참고 문헌 27인용 수 19

한 줄 요약

이 논문은 공통 문자 수준 및 단어 수준 표현을 공유하는 BiLSTM-CRF 모델을 사용하여 다중 엔티티 유형(예: 유전자, 화학물질, 질환 등)을 동시에 학습하는 딥 다중 작업 학습 프레임워크를 제안한다. 이 접근법은 교차 유형 정보를 활용하여 15개의 벤치마크 데이터셋에서 성능을 크게 향상시키며, 수동 특징 공학 없이도 최신 기술 수준의 시스템과 단일 작업 신경망 모델을 능가한다.

ABSTRACT

Motivation: State-of-the-art biomedical named entity recognition (BioNER) systems often require handcrafted features specific to each entity type, such as genes, chemicals and diseases. Although recent studies explored using neural network models for BioNER to free experts from manual feature engineering, the performance remains limited by the available training data for each entity type. Results: We propose a multi-task learning framework for BioNER to collectively use the training data of different types of entities and improve the performance on each of them. In experiments on 15 benchmark BioNER datasets, our multi-task model achieves substantially better performance compared with state-of-the-art BioNER systems and baseline neural sequence labeling models. Further analysis shows that the large performance gains come from sharing character- and word-level information among relevant biomedical entities across differently labeled corpora.

연구 동기 및 목표

• 각 엔티티 유형당 훈련 데이터가 부족하여 신경망 모델의 성능이 제한되는 문제를 해결하기 위해.
• 전문가의 노력을 요구하고 새로운 엔티티 유형으로의 일반화를 방해하는 수작업 특징의 한계를 극복하기 위해.
• 다중 작업 학습을 통해 다양한 생물의학적 엔티티 유형 간에 유용한 언어 패턴을 공유하여 엔티티 인식을 향상시키기 위해.
• 수동 특징 공학 없이도 최신 기술 수준의 성능을 달성하는 통합형 엔드 투 엔드 신경망 모델을 개발하기 위해.

제안 방법

• 모델는 각 토큰의 문자 수준 시퀀스를 인코딩하기 위해 추가적인 맥락 의존성 BiLSTM 레이어를 갖춘 BiLSTM-CRF 아키텍처를 사용한다.
• 다양한 엔티티 유형을 가진 생물의학적 엔티티 인식 데이터셋을 동시에 학습하여 다중 작업 학습을 적용한다.
• 작업 간에 문자 수준 및 단어 수준에서 공유된 표현을 학습함으로써 관련된 엔티티 유형 간 지식 전이를 가능하게 한다.
• 희귀하거나 복잡한 엔티티의 인식을 향상시키기 위해 단어 임베딩과 문자 수준 특징을 모두 활용한다.
• 모든 엔티티 유형을 동시에 최적화하는 공동 목표 함수를 사용하여 엔드 투 엔드로 학습한다.
• 모든 작업에 공통으로 사용되는 단일 신경망 아키텍처를 사용하며, 디코딩을 위해 작업별 CRF 레이어를 적용한다.

실험 결과

연구 질문

• RQ1 각 엔티티 유형당 훈련 데이터가 제한적인 상황에서 다중 작업 학습이 생물의학적 명명된 엔티티 인식 성능을 향상시킬 수 있는가?
• RQ2 다양한 생물의학적 엔티티 유형 간에 문자 수준 및 단어 수준 표현을 얼마나 공유할 수 있으며, 이를 통해 인식 성능 향상에 기여하는가?
• RQ3 다양한 엔티티 유형을 동시에 학습함으로써 장기적이거나 복잡한 생물의학적 엔티티 탐지 오류율이 감소하는가?
• RQ4 수작업 특징에 의존하는 최신 기술 수준의 시스템과 비교해 본다면 제안된 다중 작업 모델은 어떻게 성능을 내는가?
• RQ5 수동 특징 공학 없이도 다양한 생물의학적 엔티티 유형에서 뛰어난 성능을 달성할 수 있는 통합 신경망 모델이 가능한가?

주요 결과

• 제안된 다중 작업 모델은 15개의 벤치마크 데이터셋에서 최신 기술 수준의 BioNER 시스템과 기초 신경망 시퀀스 레이블링 모델보다 상당히 뛰어난 성능을 기록한다.
• 모델는 엔티티 무결성을 유지함으로써 장기적인 생물의학적 엔티티의 인식을 크게 향상시킨다. 이는 엔티티를 하위 부분으로 분할하는 것을 방지한다.
• 유사한 용어가 다양한 맥락에서 나타나는 다양한 데이터셋에서 학습함으로써 경계 오류(특히 오른쪽 경계의 과도한 확장)를 줄인다.
• 성능 향상의 주요 원인은 단지 훈련 데이터 증가가 아니라, 엔티티 유형 간에 공유된 문자 수준 및 단어 수준 표현이다.
• 다중 작업 모델은 약간 증가된 훈련 시간에도 불구하고 단일 작업 모델을 능가하며, 효율적인 지식 전이를 보여준다.
• 사례 연구를 통해 모델는 'endo-beta-1,4-glucanase-encoding genes' 및 'SMase'와 같은 복잡한 엔티티를 정확한 경계로 올바르게 식별하는 것으로 확인되었으며, 이는 단일 작업 모델이 이를 수행하지 못하는 바람직하지 않은 경향을 보였다.