[論文レビュー] A Medical Information Extraction Workbench to Process German Clinical Text

Roland Roller, Laura Seiffe+10 more|arXiv (Cornell University)|Jul 8, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文は、ドイツ語の臨床文書を対象とした医療情報抽出のためのワークベンチを提示している。このワークベンチは、ドイツ語腎臓疾患報告書の脱識別化されたコーパスを用いて訓練された、品詞タギング、概念検出、関係抽出のためのモデルを備えている。ワークベンチはドメイン内データにおいて優れた性能を発揮し、他のドイツ語バイオメディカルテキストに対しても効果的に汎用可能であり、すべてのモデルが即座に利用可能、ベンチマーク、またはカスタマイズ可能として公開されている。

ABSTRACT

Background: In the information extraction and natural language processing domain, accessible datasets are crucial to reproduce and compare results. Publicly available implementations and tools can serve as benchmark and facilitate the development of more complex applications. However, in the context of clinical text processing the number of accessible datasets is scarce -- and so is the number of existing tools. One of the main reasons is the sensitivity of the data. This problem is even more evident for non-English languages. Approach: In order to address this situation, we introduce a workbench: a collection of German clinical text processing models. The models are trained on a de-identified corpus of German nephrology reports. Result: The presented models provide promising results on in-domain data. Moreover, we show that our models can be also successfully applied to other biomedical text in German. Our workbench is made publicly available so it can be used out of the box, as a benchmark or transferred to related problems.

研究の動機と目的

• 公開可能なアノテート済みドイツ語臨床テキストデータセットおよび専用のNLPツールの不足に対処すること。
• ドイツ語臨床テキスト処理に特化した包括的でアクセス可能で再利用可能なNLPモデルのセットを構築すること。
• 研究の再現性とベンチマークの可能性を高めるために、即座に利用可能なワークベンチを公開することにより、ドイツ語バイオメディカルNLP分野における再現性のある研究を促進すること。
• 訓練されたモデルが腎臓疾患以外のドイツ語バイオメディカルテキスト分野へも汎用可能であることを実証すること。
• リソース制約のある環境でも利用可能な軽量で効率的なモデルを提供することで、臨床応用を支援すること。

提案手法

• 脱識別化されたドイツ語腎臓疾患報告書コーパスを用いて、NLPモデルのセット（品詞タガー、概念検出器、関係抽出器）を訓練した。
• 希少で複雑な医学用語の処理を向上させるために、Flair埋め込みと文字レベル表現を活用した。
• 関係抽出には、ニューラル系列ラベル付けと従属構造解析技術の組み合わせを採用した。
• Dockerを介したモジュール型でコンテナ化されたデプロイメントシステムとしてワークベンチを設計し、容易なアクセスと統合を可能にした。
• ドメイン内テストセットでの性能を基準にモデルを選別・ファインチューニングし、モデルの効率性と正確性を最優先にした。
• 外部の2つのドイツ語バイオメディカルデータセットへの適用を通じて、モデルの汎用性を検証し、有望な結果を得た。

実験結果

リサーチクエスチョン

• RQ1 1つのドメイン（腎臓疾患）で訓練されたNLPモデルの集合が、他のドイツ語バイオメディカルテキストドメインに対しても効果的に汎用可能かどうか。
• RQ2 Flairベースの埋め込みは、ドイツ語臨床テキストにおいて、他の埋め込み戦略と比較して性能とモデルサイズの点でどのように優れているか。
• RQ3 限定的なデータセットで訓練された軽量モデルが、臨床環境への導入に適した高い性能を達成できるまでの範囲はどの程度か。
• RQ4 このワークベンチは、ドイツ語臨床NLP分野における再現性、ベンチマーク、トランスファー学習をどのように支援するか。
• RQ5 データの多様性とアノテーションのばらつきが、モデルの汎用性と性能に与える影響はどの程度か。

主な発見

• ワークベンチのモデルはドメイン内ドイツ語腎臓疾患報告書において優れた性能を発揮し、概念検出とPOSタギングの両方で高いF1スコアを達成した。
• Flairベースのモデルは、顕著に小型化されたモデルサイズを実現しながらも、競争力のある性能を示し、臨床環境への導入に適していることが判明した。
• 概念検出モデルは2つの外部ドイツ語バイオメディカルデータセットに対しても良好に汎用可能であり、訓練ドメインを越えた堅牢性を示した。
• ワークベンチは腎臓疾患以外のドイツ語臨床テキストに対しても成功裏に適用され、その汎用性と再利用可能性が確認された。
• 限定的なトレーニングデータであったにもかかわらず、モデルは高いアノテーター間一致度を達成し、多様な臨床テキストパターンにおいて一貫した性能を示した。
• ワークベンチの公開により、研究および臨床NLPコミュニティが即座に利用可能となり、ベンチマークやカスタマイズが可能になった。