[論文レビュー] Clinical Information Extraction via Convolutional Neural Network

Peng Li, Heng Huang|arXiv (Cornell University)|Mar 30, 2016

Topic Modeling参考文献 11被引用数 11

ひとこと要約

本論文では、1次元畳み込みニューラルネットワーク（CNN）を用いた深層学習的手法を提案し、臨床ノートの生データからイベントスパンおよびその属性（モダリティ、極性、タイプなど）を特定する。単語埋め込み、品詞タグ、形状特徴を活用することで、cTAKESのようなドメイン特化ツールに依存せずに最先端の性能を達成し、複数の指標でベースラインを上回り、スパン検出のF1スコアは0.874、属性分類のF1スコアは0.844に達した。

ABSTRACT

We report an implementation of a clinical information extraction tool that leverages deep neural network to annotate event spans and their attributes from raw clinical notes and pathology reports. Our approach uses context words and their part-of-speech tags and shape information as features. Then we hire temporal (1D) convolutional neural network to learn hidden feature representations. Finally, we use Multilayer Perceptron (MLP) to predict event spans. The empirical evaluation demonstrates that our approach significantly outperforms baselines.

研究の動機と目的

• cTAKESのような複雑なドメイン特化NLPツールキットへの依存を低減する臨床情報抽出システムの開発を目的とする。
• 深層表現学習を活用して、臨床ノートにおけるイベントスパンおよび属性検出の正確性を向上させることを目的とする。
• 単語レベルの表現と単純なNLPモジュールを活用することで、最小限の特徴工学的作業で高い性能を達成できることを示すこと。
• 単語埋め込み、品詞タグ、形状特徴を組み合わせた手法が、深層ニューラルネットワークにおいて臨床NLPタスクにどのように寄与するかを評価すること。

提案手法

• システムは、トークン、品詞（POS）タグ、および語の形状を含む語の特徴から隠れ表現を学習する1次元時系列畳み込みニューラルネットワーク（CNN）を用いる。
• 語の形状特徴は、小文字を'x'、大文字を'X'、数字を'd'にマッピングし、句読点はそのままで保持することで生成される。
• 各語は、トークン、POS、形状のためのルックアップテーブルからの特徴ベクトルを連結して表現され、それがCNNに供給される。
• CNNは、カーネル幅2のフィルタを、窓サイズ2×window_size+1の範囲に適用し、ReLUに類似した活性化関数とシーケンス全体のマックスプーリングを実行する。
• CNNの出力の上に、50個の隠れユニットとシグモイド活性化関数を持つ多層パーセプトロン（MLP）を用いて、イベントスパンおよび属性を予測する。
• 予測精度を最大化するために、確率的勾配降下法、AdaGrad、L2正則化、および負の対数尤度目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 cTAKESのようなドメイン特化特徴工学ツールに依存せずに、深層ニューラルネットワークモデルが臨床情報抽出で競争力のある性能を達成できるか。
• RQ2 基本的なNLP特徴（語トークン、品詞タグ、形状情報）が1次元CNNと組み合わされた場合、イベントスパンおよび属性検出にどの程度有効であるか。
• RQ3 生臨床テキストからのエンドツーエンド学習が、手作業で特徴を設計した伝統的なパイプライン手法をどの程度上回るか。
• RQ4 事前学習済みGloVe埋め込みを用いることで、臨床イベント抽出タスクの性能が向上するか。

主な発見

• 提案されたモデルは、イベントスパン同定でF1スコア0.874を達成し、記憶ベースラインを上回り、報告された中央値および最大スコアと一致した。
• 属性予測においては、タイプでF1スコア0.844、極性で0.842、度合いで0.870、モダリティで0.844を記録し、一貫してベースラインを上回った。
• DocTimeRelサブタスクにおけるモデルの性能はF1スコア0.788を達成し、中央値（0.724）を上回り、最大報告スコア（0.843）に近づいた。
• イベントスパン検出では、精度0.908、再現率0.842を達成し、正確性を最適化する訓練目的によるわずかな再現率の不足を除けば、強力な性能を示した。
• 結果から、単語のトークン化、品詞タギングといった基本的なNLPモジュールと深層学習を組み合わせることで、高い性能を達成でき、複雑なドメイン特化特徴工学の必要性が低下することが示された。