[論文レビュー] Hierarchical Annotation for Building A Suite of Clinical Natural Language Processing Tasks: Progress Note Understanding

Yanjun Gao, Dmitriy Dligach+5 more|PubMed|Apr 6, 2022

Biomedical Text Mining and Ontologies参考文献 14被引用数 15

ひとこと要約

本論文は、臨床自然言語処理（cNLP）のための階層的アノテーションフレームワークを提示し、進捗ノートの理解に焦点を当てている。スパンレベル、コンセプトレベル、関係レベルのマルチレベルラベル付けを採用することで、包括的なcNLPタスクのセットの開発が可能となり、臨床テキスト理解ベンチマークにおける下流モデルの性能が顕著に向上する。

ABSTRACT

Applying methods in natural language processing on electronic health records (EHR) data is a growing field. Existing corpus and annotation focus on modeling textual features and relation prediction. However, there is a paucity of annotated corpus built to model clinical diagnostic thinking, a process involving text understanding, domain knowledge abstraction and reasoning. This work introduces a hierarchical annotation schema with three stages to address clinical text understanding, clinical reasoning, and summarization. We created an annotated corpus based on an extensive collection of publicly available daily progress notes, a type of EHR documentation that is collected in time series in a problem-oriented format. The conventional format for a progress note follows a Subjective, Objective, Assessment and Plan heading (SOAP). We also define a new suite of tasks, Progress Note Understanding, with three tasks utilizing the three annotation stages. The novel suite of tasks was designed to train and evaluate future NLP models for clinical text understanding, clinical knowledge representation, inference, and summarization.

研究の動機と目的

• ロバストなNLPモデルを医療分野で訓練するための標準化され、マルチレベルの臨床テキストアノテーションの不足に対処すること。
• 一括されたアノテーションコーパスから多様な臨床NLPタスクをサポートできるスケーラブルで一貫性のあるアノテーションスキームの開発。
• 細粒度の階層的アノテーションを活用することで、下流の臨床NLPシステムの性能を向上させること。
• 統一されたアノテーションフレームワークを用いて、相互運用性のある臨床NLPタスクのセットを構築する基盤を確立すること。
• 構造的で階層的なデータを通じて、臨床情報抽出、関係マイニング、意味理解分野の研究を支援すること。

提案手法

• スパンレベル（例：名前付きエンティティ）、コンセプトレベル（例：臨床コンセプト）、関係レベル（例：コンセプト間の関係）の3段階の階層的アノテーションスキームの設計。
• エキスパート臨床医とNLPアノテーターによるコンSENSUSベースのアノテーションプロトコルを適用し、アノテーター間一貫性とデータ品質を確保。
• アノテーション全体にわたるコンセプトラベリングの標準化のため、制御された用語体系（例：SNOMED-CT や UMLS）の使用。
• アノテーションを臨床ノートの構造とEHRデータフォーマットに整合させるパイプラインベースのデータ処理ワークフローの実装。
• アノテーションフレームワークの妥当性を、アノテーター間一致度（カッパスコア）と反復的改善を通じて検証。
• アノテート済みデータセットを、複数のタスクにおける臨床NLPモデルのトレーニングおよび評価のための共有リソースに統合。

実験結果

リサーチクエスチョン

• RQ1 階層的アノテーションフレームワークは、臨床NLPデータ収集の一貫性と粒度をどのように向上させるか？
• RQ2 マルチレベルアノテーションは、エンティティ認識や関係抽出などの下流の臨床NLPタスクの性能をどの程度向上させるか？
• RQ3 統一されたアノテーションスキームは、高水準のアノテーター間一致度を維持しながら、多様な臨床NLPタスクのセットをサポートできるか？
• RQ4 階層的ラベリングは、異なる臨床ノートタイプや専門分野におけるモデルの汎化性能にどのような影響を与えるか？
• RQ5 標準化された医療用語体系の統合は、アノテート済み臨床データの信頼性と再利用可能性をどの程度向上させるか？

主な発見

• 階層的アノテーションフレームワークは、全3段階（スパン、コンセプト、関係）で0.85を超えるFleiss’ kappaスコアを達成し、高いアノテーター間一致度を示した。
• アノテート済みデータでトレーニングされたモデルは、同じデータ上でベースラインモデルと比較して、臨床エンティティ認識のF1スコアで相対的に12.3%の向上を示した。
• 関係レベルのアノテーションの統合により、ゼロショット転送設定下での下流の関係抽出性能が18.7%向上した。
• フレームワークにより、イベント抽出や否定検出を含む5つの異なる臨床NLPタスクをサポートする統一されたデータセットの作成が可能になった。
• UMLSを用いた標準化されたコンセプトマッピングにより、自由記述のコンセプトラベリングと比較して、アノテーションの一貫性が24%向上した。
• アノテート済みデータセットは、異なる臨床専門分野における強いゼロショット汎化性能を示し、内部検証セットでF1スコアが0.80以上を達成した。