[논문 리뷰] Unlocking the Power of Deep PICO Extraction: Step-wise Medical NER Identification

Tengteng Zhang, Yiqin Yu외 4명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 23인용 수 7

한 줄 요약

이 논문은 위험 모델 논문에서 미세한 정도의 의료 Named Entity Recognition (DNER) 및 PICO (Population, Intervention, Comparison, Outcome) 분류를 위한 단계적 딥러닝 프레임워크를 제안한다. Bi-LSTM, CRF, CNN, BERT, 그리고 UMLS 기반 지식 그래프를 사용하여 엔티티 수준의 P 및 O 분류 성능을 향상시켰으며, BERT를 사용할 경우 최고 성능 F1 점수 86.72%를 기록했고, Bi-LSTM-CRF-CNN 모델을 사용할 경우 85.08%의 성능을 달성하였다. 또한 웹 인터페이스를 통해 사용자 상호작용을 가능하게 하여 반복적인 모델 개선을 지원한다.

ABSTRACT

The PICO framework (Population, Intervention, Comparison, and Outcome) is usually used to formulate evidence in the medical domain. The major task of PICO extraction is to extract sentences from medical literature and classify them into each class. However, in most circumstances, there will be more than one evidences in an extracted sentence even it has been categorized to a certain class. In order to address this problem, we propose a step-wise disease Named Entity Recognition (DNER) extraction and PICO identification method. With our method, sentences in paper title and abstract are first classified into different classes of PICO, and medical entities are then identified and classified into P and O. Different kinds of deep learning frameworks are used and experimental results show that our method will achieve high performance and fine-grained extraction results comparing with conventional PICO extraction works.

연구 동기 및 목표

• 기존의 PICO 추출 방법이 문장 수준에서만 분류하므로 하나의 문장에 여러 엔티티가 포함되어 정밀도가 저하되는 한계를 해결하기 위해.
• 문장 수준의 PICO 분류, 질병 엔티티 인식, 엔티티 매핑으로 나누어 단계적으로 작업을 분리함으로써 의료 엔티티 분류의 정확도와 해석 가능성 향상을 위해.
• UMLS와 같은 구조화된 의료 지식과 규칙 기반 보정을 통합하여 모델 성능을 향상시키고, 동일한 문장 내에서 P와 O 요소가 동시에 존재하는 모호한 케이스를 처리하기 위해.
• 임상의사 및 연구자가 모델 출력을 검토하고 수정할 수 있도록 사용자 인터랙티브 웹 애플리케이션을 개발하여 장기적인 모델 내구성 향상시키기 위해.

제안 방법

• 세 단계 파이프라인을 사용: (1) Bi-LSTM-CRF 모델을 통한 문장 수준의 PICO 분류, (2) Bi-LSTM-CRF에 문자 수준의 CNN과 UMLS 기반 그래프 임베딩을 적용한 질병 엔티티 인식(DNER), (3) 통계적 및 언어적 규칙을 이용한 질병 매핑을 통한 P와 O 레이블 간 충돌 해결.
• 문맥 인식 능력을 향상시키기 위해 문자 수준의 단어 표현을 위한 Bi-LSTM, CRF, CNN 등의 딥러닝 아키텍처를 활용.
• UMLS를 통해 외부 의료 지식을 통합하여 확률적 지식 그래프 임베딩을 학습함으로써 엔티티 표현을 풍부화하고 일반화 능력을 향상시킴.
• 비교를 위한 강력한 베이스라인으로 BERT를 적용하여 모든 지표에서 뛰어난 성능(정밀도: 86.72%)을 보였지만, 높은 계산 자원 소모를 수반함.
• P와 O 요소가 동일한 문장에 존재하는 모호한 케이스를 해결하기 위해 매핑 모듈에서 규칙 기반 후처리를 적용하여 전체 정밀도 향상.
• PICO 분류 및 DNER 결과를 시각화하고 상호작용할 수 있는 웹 애플리케이션을 개발하여 사용자가 오류를 수정하고 모델을 점진적으로 재학습할 수 있도록 지원.

실험 결과

연구 질문

• RQ1 기존의 종단 간 블랙박스 모델에 비해 단계적 딥러닝 프레임워크가 의료 문헌에서 질병 엔티티 인식의 정밀도와 재현율을 향상시킬 수 있는가?
• RQ2 UMLS 지식 그래프와 문자 수준의 CNN을 통합함으로써 Bi-LSTM-CRF 모델의 의료 NER 작업 성능 향상 정도는 어느 정도인가?
• RQ3 P와 O 엔티티가 동일한 문장에 동시에 존재할 경우 규칙 기반 후처리 전략이 얼마나 효과적으로 모호함을 해소하는가?
• RQ4 기존의 Bi-LSTM 기반 모델 대비 BERT를 사용할 경우 미세한 정도의 PICO 엔티티 분류 및 DNER 작업에서 성능 향상은 얼마나 되는가?
• RQ5 상호작용 가능한 웹 시스템은 임상 연구에서 자동화된 PICO 추출의 사용성 및 장기적인 정확도를 향상시킬 수 있는가?

주요 결과

• UMLS 그래프 임베딩을 통합한 제안된 Bi-LSTM-CRF-CNN 모델은 DNER 작업에서 기준 모델의 F1 점수를 80.16%에서 85.08%로 향상시키고, 정밀도는 79.10%에서 84.33%로 상승시켰다.
• BERT는 모든 지표에서 최고 성능을 기록하여 F1 점수 86.72%, 정밀도 85.07%, 재현율 88.44%를 달성했으며, 다른 모든 모델을 압도했다.
• 문장 수준의 PICO 분류 모델은 P 레이블 분류에서 특히 뛰어난 성능을 보였으며, P와 I/C 레이블 간 용어의 겹침 문제에도 불구하고 최고 수준의 성능 기록.
• 규칙 기반 매핑 모듈은 동일한 문장 내에서 P와 O 요소가 모두 존재하는 모호한 케이스를 해결함으로써 전체 성능 향상에 기여했지만, 이는 이전 단계의 오류로 인해 정밀도가 제한됨.
• 웹 애플리케이션을 통해 효과적인 인간-모델 상호작용이 가능해져, 사용자가 잘못 분류된 엔티티(예: '병원화'가 질병으로 잘못 레이블링됨)를 수정하고 장기적으로 모델 신뢰도를 향상시킬 수 있었다.
• 높은 성능에도 불구하고 BERT 모델의 계산 복잡도로 인해 하이퍼파라미터 튜닝에 시간이 오래 걸려 정확도와 효율성 사이의 상충 관계가 드러남.