[논문 리뷰] Assessment of Amazon Comprehend Medical: Medication Information Extraction

Benedict Guzman, MS MS외 7명|arXiv (Cornell University)|2020. 02. 02.

Biomedical Text Mining and Ontologies참고 문헌 21인용 수 10

한 줄 요약

이 연구는 2009년 i2b2 및 2018년 n2c2 도전 대회에서 제공한 벤치마크 데이터셋과 뉴욕 유니버시티 랑건의 내부 임상 노트를 활용하여 애자매 컴프리헨드 메디컬(ACM)의 약물 정보 추출 성능을 평가한다. ACM은 각각 F-스코어 0.768, 0.828, 0.753을 기록하였으며, 두 대회 모두 상위 성능 시스템보다 낮은 순위를 차지하여 실제 임상 환자 약물 추출 작업에서 향상 여지가 있음을 시사한다.

ABSTRACT

In November 27, 2018, Amazon Web Services (AWS) released Amazon Comprehend Medical (ACM), a deep learning based system that automatically extracts clinical concepts (which include anatomy, medical conditions, protected health information (PH)I, test names, treatment names, and medical procedures, and medications) from clinical text notes. Uptake and trust in any new data product relies on independent validation across benchmark datasets and tools to establish and confirm expected quality of results. This work focuses on the medication extraction task, and particularly, ACM was evaluated using the official test sets from the 2009 i2b2 Medication Extraction Challenge and 2018 n2c2 Track 2: Adverse Drug Events and Medication Extraction in EHRs. Overall, ACM achieved F-scores of 0.768 and 0.828. These scores ranked the lowest when compared to the three best systems in the respective challenges. To further establish the generalizability of its medication extraction performance, a set of random internal clinical text notes from NYU Langone Medical Center were also included in this work. And in this corpus, ACM garnered an F-score of 0.753.

연구 동기 및 목표

• 애자매 컴프리헨드 메디컬의 임상 텍스트에서 약물 정보 추출 성능을 독립적으로 검증하는 것.
• ACM의 약물 추출 성능가 다양한 임상 노트 코퍼스(벤치마크 데이터셋 및 실제 전자건강기록(EHR))로 일반화 가능한지 평가하는 것.
• 이전 약물 추출 도전 대회에서의 최첨단 시스템과의 비교를 통해 ACM의 성능을 벤치마크화하는 것.
• 실제 임상 환경에서 약물 추출 작업에 있어 ACM의 정확성과 신뢰성에 대한 한계를 규명하는 것.

제안 방법

• ACM은 2009년 i2b2 약물 추출 도전 대회 및 2018년 n2c2 트랙 2: EHR 내 약물 부작용 및 약물 추출에서 공식 테스트 세트에 적용되었다.
• 성능 평가는 주로 약물 엔티티 인식에 대해 표준 자연어 처리(NLP) 지표, 특히 F1-스코어를 사용하여 평가되었다.
• 벤치마크 데이터셋 외부의 일반화 능력을 테스트하기 위해 뉴욕 유니버시티 랑건 의료센터의 무작위 임상 노트 세트가 별도로 사용되었다.
• ACM의 성능를 각 도전 대회에서 상위 3개 시스템과 비교하여 성과의 맥락을 파악하였다.
• 평가 범위는 약물 추출에 국한되었으며, 이는 약물 이름, 복용량 및 관련 임상 정보를 포함한다.

실험 결과

연구 질문

• RQ1 애자매 컴프리헨드 메디컬은 i2b2 2009년 및 n2c2 2018년과 같은 표준화된 약물 추출 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ2 뉴욕 유니버시티 랑건 의료센터의 실제 임상 노트 코퍼스에서 ACM의 성능은 어떠한가?
• RQ3 ACM의 약물 추출 정확도는 각 도전 대회에서 상위 성능 시스템과 비교해 어떻게 되는가?
• RQ4 ACM은 정제된 벤치마크 데이터셋 외부의 임상 텍스트로 일반화하는 데 얼마나 효과적인가?

주요 결과

• 2009년 i2b2 약물 추출 테스트 세트에서 ACM은 F-스코어 0.768을 기록하였으며, 해당 대회에서 상위 3개 시스템보다 낮은 순위를 차지하였다.
• 2018년 n2c2 도전 대회 테스트 세트에서 ACM은 F-스코어 0.828을 기록하였으며, 이는 해당 대회에서 상위 3개 시스템 중 가장 낮은 성능였다.
• 뉴욕 유니버시티 랑건 의료센터의 내부 임상 노트 무작위 샘플에서의 평가 결과, ACM은 F-스코어 0.753을 기록하여 실제 전자건강기록(EHR) 데이터에서 중간 수준의 성능을 보였다.
• 결과적으로, ACM은 벤치마크 데이터셋에서는 합리적인 성능를 보이지만, 두 도전 대회 모두에서 최첨단 시스템에 비해 성능이 뒤처지는 것으로 나타났다.