[論文レビュー] A Novel Framework to Expedite Systematic Reviews by Automatically Building Information Extraction Training Corpora

Tanmay Basu, Shraman Kumar+5 more|arXiv (Cornell University)|Jun 21, 2016

Biomedical Text Mining and Ontologies参考文献 16被引用数 6

ひとこと要約

本論文では、既存のシステマティックレビューを活用して情報抽出のためのトレーニングコーパスを自動的に構築することで、手作業によるアノテーションのコストを排除し、システマティックレビューの作業を高速化する新規フレームワークを提案する。参考文献のPDFから関連する文を抽出するために改変されたジャカード類似度を用い、SVM分類器を訓練することで、包含基準を同定する際、93.75%のリCALLと27.05%のプレシジョンを達成し、平均してたった3.7文の手作業レビューで済むようになる。

ABSTRACT

A systematic review identifies and collates various clinical studies and compares data elements and results in order to provide an evidence based answer for a particular clinical question. The process is manual and involves lot of time. A tool to automate this process is lacking. The aim of this work is to develop a framework using natural language processing and machine learning to build information extraction algorithms to identify data elements in a new primary publication, without having to go through the expensive task of manual annotation to build gold standards for each data element type. The system is developed in two stages. Initially, it uses information contained in existing systematic reviews to identify the sentences from the PDF files of the included references that contain specific data elements of interest using a modified Jaccard similarity measure. These sentences have been treated as labeled data.A Support Vector Machine (SVM) classifier is trained on this labeled data to extract data elements of interests from a new article. We conducted experiments on Cochrane Database systematic reviews related to congestive heart failure using inclusion criteria as an example data element. The empirical results show that the proposed system automatically identifies sentences containing the data element of interest with a high recall (93.75%) and reasonable precision (27.05% - which means the reviewers have to read only 3.7 sentences on average). The empirical results suggest that the tool is retrieving valuable information from the reference articles, even when it is time-consuming to identify them manually. Thus we hope that the tool will be useful for automatic data extraction from biomedical research publications. The future scope of this work is to generalize this information framework for all types of systematic reviews.

研究の動機と目的

• 情報抽出のためのトレーニングデータ構築における手作業アノテーションの時間とコストを削減すること。
• 既存のシステマティックレビューを知識源として活用し、生物医学文書内の臨床的に関連するデータ要素を自動で同定すること。
• 異なるタイプのシステマティックレビューおよびデータ要素に一般化可能なスケーラブルなフレームワークを開発すること。
• 参考文献のうち最も関連性の高い文だけを取得することで、レビュアーの作業負荷を最小限に抑えること。

提案手法

• 既存のシステマティックレビューを用い、改変されたジャカード類似度測定法を用いて、含まれる参考文献PDFからターゲットとなるデータ要素を含む文を抽出する。
• 同定された文を弱教師あり学習のための弱ラベル付きトレーニングデータとして扱う。
• この自動的に構築されたラベル付きデータ上でSVM分類器を学習させ、新しい一次研究論文から同じデータ要素を抽出する。
• システマティックレビューに記載された包含基準と参考文献の抜粋との文レベルの類似度を活用して、関連するコンテンツを同定する。
• 既存のシステマティックレビューにすでに存在する情報を再利用することで、手作業アノテーションを回避する。
• 本手法は、心不全に関するコクランデータベースのレビューを対象に評価され、包含基準をターゲットデータ要素として用いた。

実験結果

リサーチクエスチョン

• RQ1 既存のシステマティックレビューを活用して、手作業アノテーションを伴わずに情報抽出のためのトレーニングデータを自動生成できるか？
• RQ2 改変されたジャカード類似度測定法は、ターゲットデータ要素を含む参考文献の文を効果的に同定できるか？
• RQ3 自動的に構築されたトレーニングコーパスを用いた生物医学文献におけるデータ抽出で、どの程度のリCALLとプレシジョンが達成できるか？
• RQ4 提案されたフレームワークは、システマティックレビュアーの手作業レビュー負荷をどの程度軽減できるか？
• RQ5 このフレームワークは、異なるタイプのシステマティックレビューおよびデータ要素に一般化可能か？

主な発見

• フレームワークは、新しい論文からターゲットデータ要素（包含基準）を含む文を同定する際、93.75%のリCALLを達成し、関連するコンテンツを高感度で捉えきっていることが示された。
• プレシジョンは27.05%であり、レビュアーが関連情報を見つけるために平均してたった3.7文の検討で済むため、手作業の負荷が著しく軽減された。
• 改変されたジャカード類似度測定法を用いることで、ラベル付けなしに参考文献PDFから関連する文を効果的に同定できた。
• 自動的に生成されたトレーニングデータ上で学習したSVM分類器は信頼性があり、生物医学情報抽出における弱教師あり学習の実現可能性を示した。
• 結果から、本フレームワークは手作業によるデータ抽出タスクを最小限に抑えることで、システマティックレビューの作業を著しく加速できると示唆された。
• 本アプローチはスケーラブルで一般化可能であり、他のデータ要素やシステマティックレビューの種別へも応用可能であると期待できる。