[論文レビュー] An Interactive Tool for Natural Language Processing on Clinical Text

Gaurav Trivedi, Phuong Thao Pham+4 more|arXiv (Cornell University)|Jul 6, 2017

Biomedical Text Mining and Ontologies参考文献 24被引用数 6

ひとこと要約

本論文は、臨床文書からのNLP抽出バイナリ変数を視覚的にレビューし、フィードバックを提供できるインタラクティブなウェブベースのツールを提示する。視覚的可視化とフィードバックメカニズムを通じて、直感的な操作で反復的なモデル最適化を支援する。ユーザースタディーの結果、非専門家でさえもこのツールを容易に使用でき、臨床現場におけるNLPモデルの精度向上の障壁を著しく低減することが示された。

ABSTRACT

Natural Language Processing (NLP) systems often make use of machine learning techniques that are unfamiliar to end-users who are interested in analyzing clinical records. Although NLP has been widely used in extracting information from clinical text, current systems generally do not support model revision based on feedback from domain experts. We present a prototype tool that allows end users to visualize and review the outputs of an NLP system that extracts binary variables from clinical text. Our tool combines multiple visualizations to help the users understand these results and make any necessary corrections, thus forming a feedback loop and helping improve the accuracy of the NLP models. We have tested our prototype in a formative think-aloud user study with clinicians and researchers involved in colonoscopy research. Results from semi-structured interviews and a System Usability Scale (SUS) analysis show that the users are able to quickly start refining NLP models, despite having very little or no experience with machine learning. Observations from these sessions suggest revisions to the interface to better support review workflow and interpretation of results.

研究の動機と目的

• 機械学習の専門知識を持たない臨床医や臨床研究者にとってのNLPシステムの使いやすさのギャップを解消すること。
• 非専門家がインタラクティブなインターフェースを通じて、臨床ノートから抽出されたバイナリ変数をレビュー・修正できるように支援すること。
• 専門家によるアノテーションに基づくモデルの再修正を可能にすることで、臨床医とNLPモデルとの間のフィードバックループを閉じること。
• 実際の臨床研究現場におけるツールの使いやすさと有効性を評価すること。
• NLP結果のワークフロー効率化と解釈性を高めるためのデザイン改善を同定すること。

提案手法

• ツールは、ドキュメント全体にわたる抽出バイナリ変数をグリッドビューで表示し、データセット全体の概要と個々のドキュメントのレビューを可能にする。
• 複数の可視化機能を統合している：分類の分布図、上位の指標語のリスト、および強調表示された語句を含むドキュメントビュー。
• ユーザーはイエローコントロールバーまたは右クリックコンテキストメニューを通じてフィードバックを提供し、誤分類されたインスタンスの修正や、関連性のない指標の特定が可能である。
• ユーザーのフィードバックに基づき、反復的なモデル再トレーニングが可能であり、NLPモデルの段階的改善が実現される。
• 機械学習の知識に依存しないようにインターフェースが設計されており、非専門家向けの直感的な操作を重視している。
• 本研究では、コロノスコピー研究に従事する臨床医および研究者を対象に、Think-aloud法を用いた使いやすさ評価が実施された。

実験結果

リサーチクエスチョン

• RQ1 機械学習の専門知識を持たない臨床医が、インタラクティブな可視化ツールを用いてNLPで抽出されたバイナリ変数を効果的にレビュー・修正できるか？
• RQ2 ユーザーは、このツールのフィードバックメカニズムの使いやすさと直感性をどのように評価しているか？
• RQ3 どのデザイン要因が、NLPモデル出力のレビュー・最適化のワークフローを促進または阻害しているか？
• RQ4 ユーザーのフィードバックが、臨床テキスト解析におけるNLPモデルの精度向上にどの程度寄与しているか？
• RQ5 臨床研究現場における共同的・反復的なモデル改善を支援するため、インタラクティブNLPツールはどのように設計すべきか？

主な発見

• 機械学習のバックグラウンドを持たない臨床医を含む参加者たちは、視覚的インターフェースとフィードバック機能を活用して、NLPモデルの最適化を素早く開始できた。
• システム使いやすさ尺度（SUS）スコアと半構造化インタビューの結果、ツールの使いやすさとユーザー満足度が高く評価された。
• 参加者の5人中4人が、研究終了後に自らの臨床研究でもこのツールを即座に使用したいと表明した。
• 参加者たちは、グリッドビュー、ドキュメント内の強調表示、フィードバックメカニズムが、モデルの誤りを特定・修正するのに特に効果的だと感じた。
• ユーザーは、寄与しないフレーズをよりよくマークできる機能の強化や、ホールドアウトテストセットに対する組み込みテスト機能の追加を提案した。
• このツールは反復的なモデル最適化を成功裏に実現し、ユーザーはフィードバックを提出した後、予測結果の変化を実際に観察できた。