[論文レビュー] Intelligent Word Embeddings of Free-Text Radiology Reports

Imon Banerjee, Sriraman Madhavan+2 more|PubMed|Nov 19, 2017

Topic Modeling参考文献 12被引用数 15

ひとこと要約

本論文では、意味的辞書マッピングと word2vec を組み合わせたハイブリッド手法を提案し、自由記述型レントゲン報告書からドメインに適した高密度な単語埋め込みを生成する。この手法は、頭蓋内出血の診断の信頼性分類において、88.64%の加重適合率と90.42%の加重再現率を達成し、ベースライン手法を上回り、放射線学的言語のばらつきに対しても頑健であることを示した。

ABSTRACT

Radiology reports are a rich resource for advancing deep learning applications in medicine by leveraging the large volume of data continuously being updated, integrated, and shared. However, there are significant challenges as well, largely due to the ambiguity and subtlety of natural language. We propose a hybrid strategy that combines semantic-dictionary mapping and word2vec modeling for creating dense vector embeddings of free-text radiology reports. Our method leverages the benefits of both semantic-dictionary mapping as well as unsupervised learning. Using the vector representation, we automatically classify the radiology reports into three classes denoting confidence in the diagnosis of intracranial hemorrhage by the interpreting radiologist. We performed experiments with varying hyperparameter settings of the word embeddings and a range of different classifiers. Best performance achieved was a weighted precision of 88% and weighted recall of 90%. Our work offers the potential to leverage unstructured electronic health record data by allowing direct analysis of narrative clinical notes.

研究の動機と目的

• 自然言語の曖昧さや多様性による、非構造化レポートから意味のある情報を抽出する課題に対処すること。
• ドメイン固有の意味的辞書と非教師付き word2vec 埋め込みを組み合わせることで、放射線学分野における単語表現を向上させること。
• 頭蓋内出血の診断の信頼性レベルに分類可能な自動かつ高精度なレポート分類を可能にすること。
• 今後の臨床 NLP 応用のための再利用可能で公開された埋め込みモデルの作成。
• 意味的マッピングの影響が、低語彙数・高専門性ドメインにおける単語埋め込み品質と分類性能に与える影響を評価すること。

提案手法

• トレーニング用に PACS データベースから 10,000 件の頭部 CT の放射線学的報告書を取得した。
• ドメイン固有の意味的辞書を用いて、テキストのクリーニング、トークン化、正規化を実施した。
• 窓サイズとベクトル次元のハイパーパramータチューニングを実施し、word2vec を適用して高密度な単語ベクトルを生成した。
• 意味的辞書マッピングと word2vec を統合することで、希少語や語彙外語（OOV）の表現を向上させた。
• 単語ベクトルの平均プーリングによりレポートレベルの埋め込みを生成し、分類の入力特徴量とした。
• ゴールスタンダードの信頼性ラベルが付与された 1,188 件のアノテート済みレポートのサブセットを用いて、複数の分類器（ランダムフォレスト、KNN、SVM）をトレーニングおよび評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的な word2vec に比べ、意味的辞書マッピングと word2vec を組み合わせることで、放射線学的報告書の単語埋め込みが向上するか？
• RQ2 提案されたハイブリッド埋め込み手法は、頭蓋内出血の診断の信頼性に基づくレポート分類にどの程度有効か？
• RQ3 ドメイン固有の意味的マッピングを含めることで、ベースラインのユニグラム特徴量に比べて分類性能が顕著に向上するか？
• RQ4 窓サイズやベクトル次元といったハイパーパramータの選択が、埋め込みおよび分類パイプラインの性能に与える影響は？
• RQ5 この手法は、放射線医師の用語やレポートスタイルのばらつきに対しても、どの程度一般化可能か？

主な発見

• ランダムフォレストを用いたハイブリッド手法は、730次元の単語ベクトルを用いて加重 F1 スコア 89.08% を達成し、ユニグラムベースライン（F1 = 75.26%）を顕著に上回った。
• ランダムフォレストがテストセットで最高の性能を示し、加重適合率 88.64%、加重再現率 90.42% を達成した。
• n=10 の KNN は、130次元のベクトルのみを用いても同等の性能（適合率 88.60%、再現率 89.91%）を示し、次元数に強く依存しない堅牢性を示した。
• ドメイン固有の意味的マッピングの導入は、すべてのモデルで分類器の性能を一貫して向上させたが、狭い単一施設ドメインのため、向上幅は限定的だった。
• 提案手法は、意味的マッピングを活用することで、語彙外語（OOV）の影響を低減し、希少語や変種語の埋め込み品質を向上させた。
• 著者らは、臨床 NLP 応用の再利用を目的として、トレーニング済みの単語埋め込みを https://github.com/imonban/RadiologyReportEmbedding で公開した。