[论文解读] An Interactive Tool for Natural Language Processing on Clinical Text

Gaurav Trivedi, Phuong Thao Pham+4 more|arXiv (Cornell University)|Jul 6, 2017

Biomedical Text Mining and Ontologies参考文献 24被引用 6

一句话总结

本文提出了一种基于网络的交互式工具，使临床医生和研究人员能够通过直观的可视化和反馈机制，对从临床文本中提取的NLP二元变量进行可视化审查和反馈，支持通过迭代方式改进NLP模型。用户研究显示，即使非专家也能有效使用该工具，显著降低了在临床环境中提升NLP模型准确性的门槛。

ABSTRACT

Natural Language Processing (NLP) systems often make use of machine learning techniques that are unfamiliar to end-users who are interested in analyzing clinical records. Although NLP has been widely used in extracting information from clinical text, current systems generally do not support model revision based on feedback from domain experts. We present a prototype tool that allows end users to visualize and review the outputs of an NLP system that extracts binary variables from clinical text. Our tool combines multiple visualizations to help the users understand these results and make any necessary corrections, thus forming a feedback loop and helping improve the accuracy of the NLP models. We have tested our prototype in a formative think-aloud user study with clinicians and researchers involved in colonoscopy research. Results from semi-structured interviews and a System Usability Scale (SUS) analysis show that the users are able to quickly start refining NLP models, despite having very little or no experience with machine learning. Observations from these sessions suggest revisions to the interface to better support review workflow and interpretation of results.

研究动机与目标

• 解决缺乏机器学习专业知识的临床医生和临床研究人员在使用NLP系统时面临的可用性不足问题。
• 通过交互式界面，支持最终用户审查和修正从临床记录中提取的NLP二元变量。
• 通过基于专家标注的模型修订，实现临床医生与NLP模型之间的反馈闭环。
• 在真实临床研究环境中评估该工具的可用性和有效性。
• 识别可提升工作流程效率和NLP结果可解释性的设计改进点。

提出的方法

• 该工具采用网格视图展示跨文档提取的二元变量，支持数据集层面的概览和单个文档的审查。
• 集成多种可视化功能：分类分布图、高频指示词列表，以及带有高亮术语的文档视图。
• 用户可通过黄色控制栏或右键上下文菜单提供反馈，以修正误分类实例或标记无关指示词。
• 系统支持基于用户反馈的迭代模型重训练，实现NLP模型的逐步优化。
• 界面设计旨在减少对机器学习知识的依赖，专注于非专家用户也能轻松操作的直观交互。
• 通过在结肠镜检查研究中的临床医生和研究人员开展的“思考 aloud”可用性研究对该工具进行了评估。

实验结果

研究问题

• RQ1 缺乏机器学习背景的临床医生能否有效利用交互式可视化工具审查并修正NLP提取的二元变量？
• RQ2 用户对该工具反馈机制的可用性和直观性有何评价？
• RQ3 哪些设计特性有助于或阻碍了审查和优化NLP模型输出的工作流程？
• RQ4 用户反馈在多大程度上提升了NLP模型在临床文本分析中的准确性？
• RQ5 如何设计交互式NLP工具，以支持临床研究中协作性和迭代性的模型改进？

主要发现

• 包括无机器学习背景的临床医生在内的参与者，能够迅速通过该工具的可视化和反馈界面开始优化NLP模型。
• 系统可用性量表（SUS）评分和半结构化访谈均表明用户对该工具的可用性和满意度较高。
• 五名参与者中有四名在研究结束后立即表达了希望在自身临床研究中使用该工具的意愿。
• 用户认为网格视图、文档高亮和反馈机制在识别和纠正模型错误方面尤为有效。
• 参与者建议改进功能，如更好地支持标记非贡献性短语，以及内置对保留测试集的测试功能。
• 该工具成功实现了迭代模型优化，用户在提交反馈后观察到了预测结果的变化。