[논문 리뷰] NegBio: a high-performance tool for negation and uncertainty detection in radiology reports

Yifan Peng, Xiaosong Wang외 4명|PubMed|2017. 12. 16.

Topic Modeling참고 문헌 26인용 수 129

한 줄 요약

NegBio는 규칙 기반 도구로 보편적 의존성(Universal Dependencies)와 서브그래프 매칭을 사용하여 영상의학 보고서의 부정 및 불확실성을 탐지하고, 다수 데이터셋에서 NegEx보다 정밀도와 F1을 향상시키며, 오픈 소스 사용을 지원하고 일반 임상 텍스트로 일반화됩니다.

ABSTRACT

https://github.com/ncbi-nlp/NegBio.

연구 동기 및 목표

• 영상의학 보고서에서 부정되거나 불확실한 소견을 정확히 식별하여 정보 추출의 거짓 양성을 줄인다.
• 부정/불확실성 탐지를 위한 견고한 구문(pattern)을 정의하기 위해 보편 의존성 그래프를 활용한다.
• 다양한 영상의학 말뭉치와 일반 임상 텍스트에서 성능을 평가하여 강건성과 일반화 가능성을 확인한다.

제안 방법

• 메타맵(MetaMap)을 이용해 의료 소견의 언급을 추출하고 14가지 일반 영상의학 소견 유형을 얻는다.
• BiLLiP 기반 파서와 Stanford 변환기를 사용해 문장에 대한 보편 의존성 그래프(UDG)를 구성한다.
• UDG에서 부정/불확실성 패턴을 정의하고 서브그래프 매칭을 수행해 스코프와 적용 가능성을 판단한다.
• 의존성 기반 규칙을 구현하는 데 Semgrex를 사용해 장거리 및 그래프 기반의 부정/불확실성 패턴을 포착한다.
• 최종-대-실제 추출과 골드 스탠다드 대비 NegBio를 평가하고 다중 데이터셋에서 NegEx와 비교한다.

실험 결과

연구 질문

• RQ1 NegBio가 부정/불확실 소견을 제거함으로써 양성으로 확인된 소견의 정밀도와 F1을 향상시킬 수 있는가?
• RQ2 영상의학 특화 말뭉치와 일반 임상 텍스트에서 NegBio의 성능은 NegEx에 비해 어떤가?
• RQ3 구문적·그래프 기반 접근법이 서로 다른 영상의학 데이터셋과 비영상의학 임상 텍스트에 잘 일반화되는가?
• RQ4 불확실성 탐지의 포함이 전체 시스템 성능에 미치는 영향은 무엇인가?

주요 결과

• NegBio는 OpenI 및 ChestX-ray에서 메타맵과 결합했을 때 긍정 소견 추출에 대한 정밀도와 F1를 크게 향상시키며, MetaMap단독 및 MetaMap+NegEx보다 더 우수하다.
• OpenI에서 NegBio는 P=89.8, R=85.0, F=87.3으로, NegEx(P=77.2, R=84.6, F=80.7) 및 MetaMap 단독(P=13.8, R=85.7, F=23.8)을 능가한다.
• ChestX-ray에서 NegBio는 P=94.4, R=94.4, F=94.4로, MetaMap+NegEx(P=82.8, R=95.5, F=88.7) 및 MetaMap 단독(P=72.3, R=95.7, F=82.4)보다 높다.
• BioScope에서 NegBio는 부정 탐지에서 NegEx를 능가하여 P=96.1, R=95.7, F=95.9 대 NegEx(P=70.6, R=98.7, F=82.3)이며 PK에서도 P=98.4, R=88.6, F=93.3으로 NegEx(P=95.1, R=91.2, F=93.1)를 앞선다.
• 불확실성 탐지가 성능 향상에 기여하며, 불확실성 규칙을 비활성화하면 OpenI에서 F1이 7.4% 감소하고 ChestX-ray에서 2.5% 감소한다(상대적으로).
• NegBio의 그래프 기반, UDg 위의 패턴 접근 방식은 정규식 기반 시스템이 흔히 보이는 과도한 부정 스코프를 피함으로써 더 높은 정밀도와 데이터셋 간 일반화성을 제공한다.