[論文レビュー] CliNER 2.0: Accessible and Accurate Clinical Concept Extraction

Willie Boag, Elena Sergeeva+4 more|arXiv (Cornell University)|Mar 6, 2018

Biomedical Text Mining and Ontologies参考文献 9被引用数 21

ひとこと要約

CliNER 2.0 は、i2b2/VA 2010 ベンチマークで最先端の性能を達成する、オープンソースでインストールが簡単な臨床概念抽出ツールです。単語レベルおよび文字レベルのLSTM-CRFモデルを採用しており、F1スコア 0.838 を達成しています。トップパフォーマンスを示すシステムと同等またはそれを上回り、出荷時から使用可能な事前学習モデルを提供するとともに、リソースが限られた環境向けにフォールバックCRFモードを備えています。

ABSTRACT

Clinical notes often describe important aspects of a patient's stay and are therefore critical to medical research. Clinical concept extraction (CCE) of named entities - such as problems, tests, and treatments - aids in forming an understanding of notes and provides a foundation for many downstream clinical decision-making tasks. Historically, this task has been posed as a standard named entity recognition (NER) sequence tagging problem, and solved with feature-based methods using handengineered domain knowledge. Recent advances, however, have demonstrated the efficacy of LSTM-based models for NER tasks, including CCE. This work presents CliNER 2.0, a simple-to-install, open-source tool for extracting concepts from clinical text. CliNER 2.0 uses a word- and character- level LSTM model, and achieves state-of-the-art performance. For ease of use, the tool also includes pre-trained models available for public use.

研究の動機と目的

• 共有タスクにおける高性能なシステムが存在する一方で、臨床概念抽出（CCE）のためのアクセスしやすくオープンソースのツールが不足しているという問題に対処すること。
• i2b2/VA 2010 CCEベンチマークで最先端の性能を達成または上回る、使いやすくインストール可能なツールを開発すること。
• 辞書照合による過剰抽出を避けるために、関連する臨床的概念（疾患、検査、治療）に焦点を当て、誤検出を低減すること。
• 再トレーニングなしで即座にデプロイ可能な事前学習モデルを提供し、研究者の使いやすさを向上させること。
• 計算リソースの制約がある環境にも対応できるように、ディープラーニングと軽量CRFベースの推論モードの両方をサポートすること。

提案手法

• 豊富な文脈情報を含む単語表現を生成するために、階層的な単語および文字レベルの双方向LSTM（w+c Bi-LSTM）を採用する。
• 単語レベルの表現に事前学習済みGloVe埋め込みを用い、文字レベルのLSTM出力を組み合わせることで、語彙的構造や綴りのばらつきを捉える。
• 単語および文字レベルの表現を連結し、それらをBi-LSTM-CRFシーケンスラベル付けフレームワークに供給することで、スパン検出と分類を実現する。
• 2つの推論モードをサポートする：ディープラーニング用のw+c LSTM-CRFモデルと、UMLS由来の特徴を用いた軽量CRFモデル（リソース制限環境向け）。
• 学習および評価に i2b2/VA 2010 データセット（16,107文）を用い、主な評価指標として正確なクラス一致を採用する。
• 一般化性能の向上と過学習の低減を図るため、ドロップアウトおよびバッチ正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの臨床概念抽出システムは、アクセスしやすくインストールが簡単である一方で、最先端の性能を達成できるか？
• RQ2 単語および文字レベルのLSTM-CRFモデルは、従来の特徴ベースのCRFモデルと比較して、F1スコアおよび未知語やスペルミス語に対するロバスト性においてどのように異なるか？
• RQ3 事前学習済みモデルは、大規模なトレーニングデータや計算リソースにアクセスできない研究者にとって、どれほど障壁を低下させるか？
• RQ4 単語のみのモデルと比較して、文字レベルの表現統合は、希少語やスペルミス語の性能向上にどの程度寄与するか？
• RQ5 1つのツールが、多様なデプロイメント環境に対応する高精度なディープラーニング推論と、軽量CRFベースの推論の両方をサポートできるか？

主な発見

• CliNER 2.0 の w+c LSTM-CRF モデルは、i2b2/VA 2010 テストセットで F1 スコア 0.838 を達成し、2010年の共有タスクで上位のシステムと同等またはそれを上回る性能を示した。
• リcallが 0.836 に達し、公式に使用された 2010 年 i2b2 データセットでトレーニングされたシステムの中で、報告された最高のリcallを記録した。
• F1 スコア 0.828 を達成した前回の最先端手法である Binarized Neural Embedding CRF よりもわずかだが一貫した優位性を示した。
• ツールに搭載された事前学習済みモデルにより、再トレーニングなしで即座に推論が可能となり、臨床NLPアプリケーションへの導入障壁が著しく低下した。
• UMLS由来の特徴を用いたフォールバックCRFモードは、F1: 0.795 という競争力のある性能を示し、リソースが限られた環境向けの実用的選択肢となった。
• 最近のモデルで観察される性能の飽和傾向から、i2b2/VA 2010 データセットではこのタスクの性能の上限に近づいている可能性が示唆された。