[논문 리뷰] An Interactive Tool for Natural Language Processing on Clinical Text

Gaurav Trivedi, Phuong Thao Pham외 4명|arXiv (Cornell University)|2017. 07. 06.

Biomedical Text Mining and Ontologies참고 문헌 24인용 수 6

한 줄 요약

이 논문은 임상 텍스트에서 NLP로 추출한 이진 변수를 시각적으로 검토하고 피드백을 제공할 수 있도록 도와주는 상호작용형 웹 기반 도구를 제시한다. 직관적인 시각화와 피드백 메커니즘을 통해 반복적인 모델 개선을 지원하며, 임상의와 연구자들이 쉽게 사용할 수 있도록 한다. 사용자 연구 결과에 따르면 비전문가를 포함한 사용자들도 도구를 효과적으로 활용할 수 있으며, 임상 환경에서 NLP 모델 정확도 향상의 장벽을 크게 낮춘다.

ABSTRACT

Natural Language Processing (NLP) systems often make use of machine learning techniques that are unfamiliar to end-users who are interested in analyzing clinical records. Although NLP has been widely used in extracting information from clinical text, current systems generally do not support model revision based on feedback from domain experts. We present a prototype tool that allows end users to visualize and review the outputs of an NLP system that extracts binary variables from clinical text. Our tool combines multiple visualizations to help the users understand these results and make any necessary corrections, thus forming a feedback loop and helping improve the accuracy of the NLP models. We have tested our prototype in a formative think-aloud user study with clinicians and researchers involved in colonoscopy research. Results from semi-structured interviews and a System Usability Scale (SUS) analysis show that the users are able to quickly start refining NLP models, despite having very little or no experience with machine learning. Observations from these sessions suggest revisions to the interface to better support review workflow and interpretation of results.

연구 동기 및 목표

• 기계학습 전문 지식이 없는 임상의와 임상 연구자들이 사용하기 어려운 NLP 시스템의 문제를 해결하기 위해.
• 비전용 사용자가 임상 노트에서 추출한 NLP 기반 이진 변수를 상호작용형 인터페이스를 통해 검토하고 수정할 수 있도록 지원하기 위해.
• 전문가의 주석 기반으로 모델 수정이 가능하도록 하여 임상의와 NLP 모델 간의 피드백 루프를 구축하기 위해.
• 실제 임상 연구 환경에서 도구의 사용성과 효과성을 평가하기 위해.
• NLP 결과의 워크플로우 효율성 향상과 해석 가능성을 높이는 설계 개선 사항을 도출하기 위해.

제안 방법

• 도구는 문서 간 이진 변수를 표 형태로 표시하는 격자 뷰를 사용하여 데이터셋 수준의 개요와 개별 문서 검토를 가능하게 한다.
• 다양한 시각화 기능을 통합한다: 분류 결과의 분포 차트, 상위 지표어(Indicator Terms) 목록, 그리고 강조 표시된 어휘가 포함된 문서 뷰.
• 사용자는 노란색 제어 바 또는 오른쪽 클릭 컨텍스트 메뉴를 통해 잘못 분류된 사례를 수정하거나 관련성이 없는 지표어를 표시할 수 있다.
• 사용자 피드백 기반으로 반복적인 모델 재학습을 지원하여 NLP 모델의 점진적 향상을 가능하게 한다.
• 기계학습 지식에 의존하지 않고도 직관적인 상호작용을 통해 비전문가가 쉽게 사용할 수 있도록 인터페이스를 설계하였다.
• 도구는 대肠내시경 연구에 종사하는 임상의와 연구자들을 대상으로 한 '생각을 말하는' 사용성 연구를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 기계학습 전문 지식이 없는 임상의들이 상호작용형 시각화 도구를 통해 NLP로 추출한 이진 변수를 효과적으로 검토하고 수정할 수 있는가?
• RQ2 사용자들은 도구의 피드백 메커니즘의 사용성과 직관성에 대해 어떻게 평가하는가?
• RQ3 어떤 설계 요소가 NLP 모델 출력 검토 및 개선 워크플로우를 향상시키거나 방해하는가?
• RQ4 사용자 피드백이 임상 텍스트 분석에서 NLP 모델 정확도 향상에 어느 정도 기여하는가?
• RQ5 임상 연구에서 협업적이고 반복적인 모델 개선을 지원하기 위해 상호작용형 NLP 도구는 어떻게 설계되어야 하는가?

주요 결과

• 기계학습 배경이 없는 임상의를 포함한 참가자들이 도구의 시각화 및 피드백 인터페이스를 통해 NLP 모델 개선을 빠르게 시작할 수 있었다.
• 시스템 사용성 척도(SUS) 점수와 반구조화된 인터뷰 결과, 도구의 높은 사용성과 사용자 만족도가 확인되었다.
• 참가자 5명 중 4명이 연구 종료 후 자신의 임상 연구에 도구를 즉시 사용하고자 하는 관심을 보였다.
• 사용자들은 격자 뷰, 문서 강조 표시 기능, 피드백 메커니즘 등이 모델 오류 식별 및 수정에 특히 효과적이라고 평가했다.
• 사용자들은 비기여 문구를 더 잘 표시할 수 있도록 지원하고, 보류된 테스트 세트에 대해 내장된 테스트 기능을 제공할 수 있도록 개선할 것을 제안했다.
• 도구를 통해 반복적인 모델 개선이 성공적으로 이루어졌으며, 사용자 피드백 제출 후 예측 결과의 변화를 관찰할 수 있었다.