[論文レビュー] NegBio: a high-performance tool for negation and uncertainty detection in radiology reports

Yifan Peng, Xiaosong Wang+4 more|PubMed|Dec 16, 2017

Topic Modeling参考文献 26被引用数 129

ひとこと要約

NegBio は、普遍依存関係とサブグラフマッチングを用いて放射線科レポートの否定と不確実性を検出するルールベースのツールで、複数データセットにおいて NegEx を超える精度と F1 を改善します。オープンソース利用をサポートし、他の臨床テキストへ一般化します。

ABSTRACT

https://github.com/ncbi-nlp/NegBio.

研究の動機と目的

• 放射線レポートからの情報抽出で偽陽性を減らすため、否定的・不確かな所見を正確に識別する。
• 普遍依存グラフを用いて否定/不確実性検出の堅牢な統語パターンを定義する。
• 複数の放射線コーパスと一般臨床テキストで性能を評価し、頑健性と一般化性を検証する。

提案手法

• MetaMapを用いて医用所見を抽出し、14種類の一般的な放射線所見タイプを取得する。
• BiLLiPベースのパーサとStanfordコンバーターを用いて文の普遍依存グラフ（UDG）を構築する。
• UDG上に否定/不確実性パターンを定義し、サブグラフマッチングを行ってスコープと適用性を決定する。
• Semgrexを用いて、長距離・グラフベースの否定/不確実性パターンを捉える依存ベースの規則を実装する。
• エンドツーエンド抽出でNegBioを評価し、金標準と比較し、複数データセットでNegExと比較する。

実験結果

リサーチクエスチョン

• RQ1 NegBio は、否定/不確実な所見を除去することで、肯定的にアサーションされた所見の精度と F1 を改善できるか？
• RQ2 放射線特有コーパスと一般臨床テキストの間で NegBio は NegEx と比較してどの程度性能があるか？
• RQ3 統語・グラフベースのアプローチは、異なる放射線データセットや非放射線臨床テキストにもよく一般化するか？
• RQ4 不確実性検出の組み込みが全体のシステム性能に与える影響は？

主な発見

• NegBio は、OpenI および ChestX-ray での正の所見抽出の精度と F1 を、MetaMap のみおよび MetaMap+NegEx と比較して大幅に改善する。
• OpenI では、NegBio は P=89.8, R=85.0, F=87.3 を達成し、NegEx (P=77.2, R=84.6, F=80.7) および MetaMap 単独 (P=13.8, R=85.7, F=23.8) を上回る。
• ChestX-ray では、NegBio は P=94.4, R=94.4, F=94.4 で、MetaMap+NegEx (P=82.8, R=95.5, F=88.7) および MetaMap 単独 (P=72.3, R=95.7, F=82.4) より高い。
• NegBio は BioScope の否定検出でも NegEx を上回り (P=96.1, R=95.7, F=95.9 vs NegEx P=70.6, R=98.7, F=82.3) PK でも (P=98.4, R=88.6, F=93.3 vs NegEx P=95.1, R=91.2, F=93.1)。
• 不確実性検出はパフォーマンス向上に寄与し、不確実性ルールを無効化すると OpenI で F1 が 7.4%、ChestX-ray で 2.5% 減少する。
• NegBio のグラフベース、UDG 上のパターン適用アプローチは、正規表現ベースのシステムに典型的な過度に長い negation スコープを回避することで高い精度を生み出し、データセット間の一般化性を向上させる。