[論文レビュー] Unlocking the Power of Deep PICO Extraction: Step-wise Medical NER Identification

Tengteng Zhang, Yiqin Yu+4 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 23被引用数 7

ひとこと要約

本稿では、リスクモデル論文における細粒度医療 Named Entity Recognition (DNER) および PICO（母集団、介入、対照、結果）分類のための段階的ディープラーニングフレームワークを提案する。Bi-LSTM、CRF、CNN、BERT、およびUMLSベースの知識グラフを用い、エンティティレベルのPおよびO分類を向上させ、BERTを用いた際のSOTA F1スコア86.72%、Bi-LSTM-CRF-CNNモデルを用いた際の85.08%を達成した。また、Webインタフェースを介したユーザーインタラクションにより、反復的なモデル最適化を可能にした。

ABSTRACT

The PICO framework (Population, Intervention, Comparison, and Outcome) is usually used to formulate evidence in the medical domain. The major task of PICO extraction is to extract sentences from medical literature and classify them into each class. However, in most circumstances, there will be more than one evidences in an extracted sentence even it has been categorized to a certain class. In order to address this problem, we propose a step-wise disease Named Entity Recognition (DNER) extraction and PICO identification method. With our method, sentences in paper title and abstract are first classified into different classes of PICO, and medical entities are then identified and classified into P and O. Different kinds of deep learning frameworks are used and experimental results show that our method will achieve high performance and fine-grained extraction results comparing with conventional PICO extraction works.

研究の動機と目的

• 既存のPICO抽出手法が文単位での分類に限定されており、1文に複数のエンティティが含まれるため精度が低下するという限界を是正すること。
• タスクを文単位のPICO分類、疾患エンティティ認識、エンティティマッピングという明確で順次的なステップに分解することで、医療エンティティ分類の精度と解釈可能性を向上させること。
• UMLSなどの構造的医療知識とルールベースの調整を統合し、PとOの要素が同じ文に共存するような曖昧なケースに対処し、モデル性能を向上させること。
• 臨床医や研究者がモデル出力を検証・修正できるユーザーインタラクティブなWebアプリケーションを開発し、長期的なモデルの頑健性を向上させること。

提案手法

• 3段階のパイプラインを採用：(1) Bi-LSTM-CRFモデルによる文単位PICO分類、(2) Bi-LSTM-CRFに文字レベルCNNとUMLSベースのグラフ埋め込みを組み合わせた疾患エンティティ認識（DNER）、(3) 統計的および言語的ルールを用いたマッピングによりPとOラベルの矛盾を解消。
• エンティティ認識の文脈を高めるために、文字レベルの単語表現を向上させる目的で、Bi-LSTM、CRF、CNNのディープラーニングアーキテクチャを活用。
• UMLSを介して外部医療知識を統合し、確率的知識グラフ埋め込みを学習することでエンティティ表現を豊かにし、一般化性能を向上。
• 比較のための強力なベースラインとしてBERTを適用し、F1スコア86.72%という優れた性能を示したが、計算コストが非常に高くなるという代償を伴った。
• PとOの要素が同じ文に含まれる曖昧なケースを解消する目的で、マッピングモジュールにルールベースの後処理を適用し、全体の精度を向上。
• PICO分類およびDNERの結果を可視化・操作可能なWebアプリケーションを開発し、ユーザーが誤分類を修正し、段階的にモデルを再訓練できるようにした。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのブラックボックスモデルと比較して、段階的ディープラーニングフレームワークは、医療文献における疾患エンティティ認識の精度と再現率を向上させることができるか？
• RQ2 UMLS知識グラフと文字レベルCNNを統合することで、Bi-LSTM-CRFモデルの医療NERタスクにおける性能はどの程度向上するか？
• RQ3 PとOのエンティティが同じ文に共存する場合に、ルールベースの後処理戦略はどの程度の曖昧性解消効果を示すか？
• RQ4 従来のBi-LSTMベースのモデルと比較して、BERTを用いることで、細粒度PICOエンティティ分類およびDNERタスクでどの程度の性能向上が得られるか？
• RQ5 インタラクティブなWebシステムは、臨床研究における自動PICO抽出の使いやすさと長期的な正確性を向上させることができるか？

主な発見

• UMLSグラフ埋め込みを組み合わせた提案されたBi-LSTM-CRF-CNNモデルは、DNERタスクにおいてベースラインのF1スコアを80.16%から85.08%に、精度を79.10%から84.33%に向上させた。
• BERTは全指標で最高の性能を示し、F1スコア86.72%、精度85.07%、再現率88.44%を達成し、他のすべてのモデルを上回った。
• 文単位PICO分類モデルは、Pラベル分類において特に優れた性能を示し、PとI/Cラベルの用語が重複する課題にもかかわらず、SOTAモデルを上回った。
• ルールベースのマッピングモジュールは、PとOの要素が同じ文に含まれる曖昧なケースを解消することで、全体の性能を向上させたが、精度は前段階の誤りに制限された。
• Webアプリケーションにより、人間がモデルの意思決定に参加するフィードバックループが実現され、『入院』が誤って疾患と分類されたような誤分類をユーザーが修正可能となり、時間経過とともにモデルの信頼性が向上した。
• 高い性能を達成したが、BERTモデルの計算複雑性が高く、ハイパーパramータチューニングに時間がかかったため、精度と効率のトレードオフが顕在化した。