[논문 리뷰] Unified Neural Architecture for Drug, Disease and Clinical Entity Recognition

Sunil Kumar Sahu, Ashish Anand|arXiv (Cornell University)|2017. 08. 11.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

이 논문은 계층적 양방향 LSTM(BLSTM)을 사용하여 형태학적 및 문맥적 특징을 캡처하고, 일阶 CRF 레이어를 통한 시퀀스 레이블링을 수행하는 통합 신경망 아키텍처인 CWBLSTM을 제안한다. 이 모델은 도메인 특화 기능이나 외부 사전을 사용하지 않아도 약물 NER, 질병 NER, 임상 NER 작업에서 최신 기술 수준(SOTA)을 초월하며, 문자 수준 임베딩과 CRF 기반 태그 의존성 학습의 효과성을 입증한다.

ABSTRACT

Most existing methods for biomedical entity recognition task rely on explicit feature engineering where many features either are specific to a particular task or depends on output of other existing NLP tools. Neural architectures have been shown across various domains that efforts for explicit feature design can be reduced. In this work we propose an unified framework using bi-directional long short term memory network (BLSTM) for named entity recognition (NER) tasks in biomedical and clinical domains. Three important characteristics of the framework are as follows - (1) model learns contextual as well as morphological features using two different BLSTM in hierarchy, (2) model uses first order linear conditional random field (CRF) in its output layer in cascade of BLSTM to infer label or tag sequence, (3) model does not use any domain specific features or dictionary, i.e., in another words, same set of features are used in the three NER tasks, namely, disease name recognition (Disease NER), drug name recognition (Drug NER) and clinical entity recognition (Clinical NER). We compare performance of the proposed model with existing state-of-the-art models on the standard benchmark datasets of the three tasks. We show empirically that the proposed framework outperforms all existing models. Further our analysis of CRF layer and word-embedding obtained using character based embedding show their importance.

연구 동기 및 목표

• 작업 특화 기능 공학에 의존도를 줄이는 통합 딥러닝 프레임워크를 개발하는 것.
• 저자원 및 노이즈가 많은 임상 텍스트에서 문자 수준 임베딩과 CRF 기반 시퀀스 모델링이 NER 성능에 미치는 영향을 조사하는 것.
• 특정 도메인 기능이나 외부 사전 없이도 다양한 실체 유형—약물, 질병, 임상 실체—를 효과적으로 처리할 수 있는 단일 모델 아키텍처가 가능한지 평가하는 것.
• 형태학적(문자 수준) 및 의미적(단어 수준) 임베딩이 NER 정확도 향상에 어떻게 상호보완적인 역할을 하는지 분석하는 것.

제안 방법

• 모델는 두 개의 BLSTM 레이어를 가진 계층적 아키텍처를 사용한다: 첫 번째 레이어는 형태학적으로 rich한 단어 표현을 학습하기 위해 문자 시퀀스를 처리하고, 두 번째 레이어는 문맥적 의존성을 캡처하기 위해 단어 수준 시퀀스를 처리한다.
• 단어 임베딩은 문자 수준 BLSTM를 통해 학습된 후 단어 수준 BLSTM를 거쳐 형태학적 및 문맥적 특징을 함께 모델링한다.
• 출력 레이어에 일阶 선형 체인 CRF를 사용하여 시퀀스 전체에 걸쳐 레이블 의존성을 모델링함으로써 태깅 일관성을 향상시킨다.
• 모델는 수동으로 설계된 기능, 사전, 외부 도구를 사용하지 않고 단어 및 문자 임베딩만을 입력으로 사용한다.
• 프레임워크는 세 가지 표준 NER 벤치마크—약물 NER, 질병 NER, 임상 NER—에서 엔드 투 엔드로 훈련된다.
• CRF, 양방향 LSTMs, 문자 수준 임베딩의 기여도를 분석하기 위해 모델 변종을 평가한다.

실험 결과

연구 질문

• RQ1 특정 작업 기능이나 외부 지식 없이도 통합 딥러닝 모델이 약물, 질병, 임상 실체 인식에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 표준 단어 임베딩에 비해 문자 수준 임베딩은 생물의학적 실체 이름의 형태학적 패턴을 어떻게 더 잘 캡처하는가?
• RQ3 레이블 의존성을 모델링하는 CRF 기반 시퀀스 모델링이 얼마나 NER 성능 향상에 기여하는가?
• RQ4 양방향 LSTMs를 사용할 경우 단방향 LSTMs에 비해 생물의학 NER 작업에서 성능 향상이 얼마나 이루어지는가?
• RQ5 학습된 문자 수준 및 단어 수준 임베딩는 의미적 및 형태학적 특성에서 어떻게 다를까?

주요 결과

• 제안된 CWBLSTM 모델은 질병 NER에서 F1 점수 83.35, 약물 NER에서 73.57, 임상 NER에서 83.68를 기록하여 각각의 벤치마크에서 기존 최신 기술 수준(SOTA)을 모두 초월한다.
• CRF 레이어를 제거한 경우(BLSTM+WLL 변종), 질병 NER에서 F1 점수가 7.5% 감소하고, 약물 NER에서는 3.4%, 임상 NER에서는 5.5% 감소하여 레이블 의존성 모델링의 중요성을 입증한다.
• 단방향 LSTMs 대비 양방향 LSTMs를 사용할 경우, 질병 NER에서 F1 점수는 12.89% 향상되고, 약물 NER에서는 4.86%, 임상 NER에서는 20.83% 향상되어 이중적 문맥의 이점이 뚜렷하다.
• 가장 가까운 이웃 분석 결과, 문자 수준 임베딩는 형태학적 유사성을 캡처하며(예: 'Cefaclor'과 'Cefdinir'), 단어 수준 임베딩는 의미적 유사성을 유지한다(예: 'synergistic'과 'antagonistic').
• 특정 도메인 기능, 사전, 외부 NLP 도구를 전혀 사용하지 않아도 뛰어난 성능을 달성하여 다양한 실체 유형 간 일반화 능력이 입증된다.
• 평균 실체 길이(약물: 1.2, 임상: 2.1, 질병: 2.2)는 CRF의 성능 향상과 상관관계가 있으며, 이는 더 긴 실체일수록 시퀀스 모델링의 이점이 더 크다는 것을 시사한다.