[論文レビュー] Advancing PICO Element Detection in Biomedical Text via Deep Neural Networks

Di Jin, Peter Szolovits|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本稿では、文脈情報を捉えるために文の表現の上に第二の bi-LSTM 层を積み重ねることで、生体医薬文書における PICO 要素検出を向上させる深層学習モデルを提案する。また、敵対的訓練と教師なし事前学習を用いることで一般化性能を向上させる。モデルは最先端の性能を達成し、PubMed-PICO における P, I, O 要素の F1 スコアをそれぞれ 5.5%, 7.9%, 5.8% 向上させ、NICTA-PIBOSO では 2.4%, 13.6%, 1.0% 向上させた。

ABSTRACT

In evidence-based medicine (EBM), defining a clinical question in terms of the specific patient problem aids the physicians to efficiently identify appropriate resources and search for the best available evidence for medical treatment. In order to formulate a well-defined, focused clinical question, a framework called PICO is widely used, which identifies the sentences in a given medical text that belong to the four components typically reported in clinical trials: Participants/Problem (P), Intervention (I), Comparison (C) and Outcome (O). In this work, we propose a novel deep learning model for recognizing PICO elements in biomedical abstracts. Based on the previous state-of-the-art bidirectional long-short term memory (biLSTM) plus conditional random field (CRF) architecture, we add another layer of biLSTM upon the sentence representation vectors so that the contextual information from surrounding sentences can be gathered to help infer the interpretation of the current one. In addition, we propose two methods to further generalize and improve the model: adversarial training and unsupervised pre-training over large corpora. We tested our proposed approach over two benchmark datasets. One is the PubMed-PICO dataset, where our best results outperform the previous best by 5.5%, 7.9%, and 5.8% for P, I, and O elements in terms of F1 score, respectively. And for the other dataset named NICTA-PIBOSO, the improvements for P/I/O elements are 2.4%, 13.6%, and 1.0% in F1 score, respectively. Overall, our proposed deep learning model can obtain unprecedented PICO element detection accuracy while avoiding the need for any manual feature selection.

研究の動機と目的

• 証拠に基づく医学や臨床意思決定支援において不可欠な、生体医薬文書の要約における PICO 要素検出の正確性を向上させること。
• 従来のモデルが手作業で特徴を設計していることや、周辺文からの文脈情報を十分に活用できないという限界を是正すること。
• 敵対的訓練と教師なし事前学習を用いることで、低リソース環境における過学習を低減し、モデルの一般化性能を向上させること。
• 手作業による特徴工学を一切行わず、深層ニューラルネットワークを用いてエンドツーエンド学習を実現し、最先端の性能を達成すること。

提案手法

• bi-LSTM + CRF モデルが得た文レベルの表現の上に、隣接する文からの文脈情報を捉えるために第二の bi-LSTM 層を積み重ねる。
• モデルの正則化と入力の摂動に対するロバスト性向上のため、敵対的訓練およびバーチャル敵対的訓練を用いる。
• ターゲットの PICO データセットでの微調整の前に、大規模な生体医薬関連コーパスを用いて教師なし事前学習を実施し、特徴学習を強化する。
• bi-LSTM + CRF アーキテクチャを採用し、bi-LSTM が文の表現を符号化し、CRF がラベル系列の最適化を実行する。
• RNN および Transformer を用いた文エンコーダーを併用し、その有効性をアブレーションスタディで比較する。
• 文の文脈的表現を CRF 層に統合し、グローバルに一貫性のあるラベル系列を保証する。

実験結果

リサーチクエスチョン

• RQ1 文の表現の上に追加の bi-LSTM 層を積み重ねることで、文間の文脈を捉えることができ、PICO 要素検出性能が向上するか？
• RQ2 敵対的訓練は、低リソースの PICO ラベル付け環境において、一般化性能とロバスト性を顕著に向上させるか？
• RQ3 大規模な生体医薬関連コーパスを用いた教師なし事前学習が、下流の PICO 検出性能にどの程度寄与するか？
• RQ4 複数のベンチマークデータセットにおいて、F1 スコアの観点から、本稿で提案するモデルは最先端のモデルと比較してどのように差がつくか？

主な発見

• 提案モデルは、前回の最先端手法と比較して、PubMed-PICO データセットにおける PICO 要素の F1 スコアを 5.5% の絶対的向上を達成した。
• PubMed-PICO データセットにおいて、介入（I）要素の F1 スコアは 7.9% 向上し、結果（O）要素では 5.8% 向上した。
• NICTA-PIBOSO データセットでは、介入（I）要素の F1 スコアが 13.6% 向上し、すべての要因の中で最大の向上を記録した。
• 深層ニューラルネットワークを用いて文脈表現をエンドツーエンドで学習することで、手作業による特徴工学への依存を低減した。
• 敵対的訓練と教師なし事前学習は、特にデータ量が少ない環境下で性能向上に顕著な寄与を示した。
• 誤分類マトリクスの分析から、主な誤り原因は曖昧なラベルと CRF が引き起こすラベル遷移であり、'Method' と 'Other' ラベルの混同が頻発していた。