[논문 리뷰] A Multi-Task Learning Framework for Extracting Drugs and Their Interactions from Drug Labels

Tung Tran, Ramakanth Kavuluru외 1명|arXiv (Cornell University)|2019. 05. 17.

Biomedical Text Mining and Ontologies참고 문헌 20인용 수 3

한 줄 요약

이 논문은 투표 기반 앙상블 학습을 사용하는 깊이 신경망을 통해 약물 레이블에서 동시에 명명된 엔터티 인식(NER)과 약물-약물 상호작용(DDI) 관계 추출을 수행하는 다중 작업 학습 프레임워크를 제시한다. 시스템은 TAC 2018 DDI 트랙에서 NER(테스트 세트 1과 2에서 각각 33.00% 및 38.25% F1)와 관계 추출(각각 21.59% 및 23.55% F1)에서 둘 다 2위를 기록하였으며, 외부 대규모 데이터셋의 이득이 제한적이었음에도 불구하고 앙상블 모델링을 통해 재현율을 향상시켰다.

ABSTRACT

Preventable adverse drug reactions as a result of medical errors present a growing concern in modern medicine. As drug-drug interactions (DDIs) may cause adverse reactions, being able to extracting DDIs from drug labels into machine-readable form is an important effort in effectively deploying drug safety information. The DDI track of TAC 2018 introduces two large hand-annotated test sets for the task of extracting DDIs from structured product labels with linkage to standard terminologies. Herein, we describe our approach to tackling tasks one and two of the DDI track, which corresponds to named entity recognition (NER) and sentence-level relation extraction respectively. Namely, our approach resembles a multi-task learning framework designed to jointly model various sub-tasks including NER and interaction type and outcome prediction. On NER, our system ranked second (among eight teams) at 33.00% and 38.25% F1 on Test Sets 1 and 2 respectively. On relation extraction, our system ranked second (among four teams) at 21.59% and 23.55% on Test Sets 1 and 2 respectively.

연구 동기 및 목표

• 구조화된 제품 라벨(SPLs)에서 약물-약물 상호작용(DDIs)을 추출하여 약물 안전성을 향상하고 약물 부작용을 방지하는 데 도전 과제를 해결하기 위해.
• 기여자, 유도자, 영향을 주는 요소에 대한 명명된 엔터티 인식(NER)과 함께 상호작용 유형 및 결과 예측을 동시에 모델링하기 위해.
• 다양한 약물 레이블 구조와 주석 스타일에 일반화되는 강력한 딥 러닝 시스템을 개발하기 위해.
• 훈련 데이터 규모와 주석 일관성의 영향을 실제 임상 NLP 작업에서 모델 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 일괄 및 작업별 레이어를 갖춘 단일 딥 뉴럴 네트워크 모델을 사용하여 NER와 관계 추출을 동시에 수행한다.
• 예측의 안정성과 재현율을 향상시키기 위해 독립적으로 훈련된 10개의 모델을 투표 기반 앙상블로 통합한다.
• 추론 중에 단일 엔터티를 여러 구성요소로 분할하여 'X와 Y 유도제'와 같은 조정된 수식어 패턴을 처리하기 위해 사전/사후 처리 규칙을 적용한다.
• 공식 훈련 세트(Training-22) 외에 외부 NLM-180 데이터셋(180개의 약물 레이블)을 사용하여 모델의 일반화 능력을 향상시킨다.
• NER에는 교차 엔트로피 손실, 상호작용 유형 및 결과 예측에는 다중 레이블 분류를 사용하여 모델을 훈련시킨다.
• 예측 겹침을 해결하기 위해 높은 투표 수를 가진 주석을 선택하고 충돌하는 주석은 기각하는 후처리를 수행한다.

실험 결과

연구 질문

• RQ1 약물 레이블에서 명명된 엔터티 인식과 약물-약물 상호작용 관계 추출 성능을 동시에 향상시킬 수 있는 다중 작업 학습 프레임워크가 가능한가?
• RQ2 앙상블 학습이 임상 텍스트 추출을 위한 NLP 모델의 재현율과 안정성에 어떤 영향을 미치는가?
• RQ3 대규모 외부 데이터셋(NLM-180)을 사용할 경우, 잠재적인 주석 이탈이 있을 수 있음에도 불구하고, 더 작은 공식 테스트 세트에서의 성능 향상은 어느 정도 이루어지는가?
• RQ4 훈련 데이터 스케일 증가로 인한 성능 향상이 테스트 세트에서 줄어드는 이유는 무엇인가? 특히 주석 가이드라인이 시간이 지남에 따라 변화함에 따라 그러한 경향이 강해질 수 있다.
• RQ5 데이터셋 간 주석 품질과 일관성의 차이가 모델의 일반화 능력과 평가 지표에 어떤 영향을 미치는가?

주요 결과

• 투표 기반 앙상블 모델은 NER와 관계 추출 모두에서 2위를 기록하였으며, 각각 테스트 세트 1과 2에서 F1 점수 33.00%와 38.25%를 기록하였다.
• 앙상블 시스템은 정밀도는 유사하게 유지하면서도 단일 모델 대비 재현율을 크게 향상시켜 안정성과 강건성을 향상시켰다.
• NLM-180에서 훈련 데이터가 800% 증가했음에도 불구하고 테스트 세트에서의 성능 향상은 제한적이었으며, 이는 잠재적인 주석 이탈 또는 품질 차이를 시사한다.
• 상위 성능을 기록한 시스템(Tang et al.)은 훨씬 더 많은 훈련 데이터(1,148개의 수동 주석 문장)를 사용하여 직접 비교가 어려웠다.
• 저자들은 시스템이 더 농축된 텍스트(테스트 세트 1)에서는 더 잘 작동하는 것으로 관찰하였고, 더 흐린 텍스트(테스트 세트 2)에서는 성능이 떨어지는 것으로 나타나 데이터 희소성에 민감한 것으로 나타났다.
• 사전/사후 처리 규칙은 추론 중에 'X와 Y 유도제'와 같은 조정된 수식어 패턴을 분리하여 별개의 엔터티로 처리함으로써 효과적으로 대응하였다.