[論文レビュー] Extraction of evidence tables from abstracts of randomized clinical trials using a maximum entropy classifier and global constraints

Antonio Trenta, Anthony Hunter+1 more|arXiv (Cornell University)|Sep 17, 2015

Advanced Text Analysis Techniques参考文献 18被引用数 14

ひとこと要約

本論文では、ランダム化臨床試験（RCT）の要約から構造化された証拠表データを抽出する機械学習システムを提案する。最大エントロピー分類器と整数線形プログラミング（ILP）を組み合わせ、PICO要因（母集団、介入、対照群、結果）間の依存関係をモデル化することで、全般的な制約を強制し、精度と一貫性を向上させる。この手法により、実証的医療における自動証拠表作成において、ベースライン手法よりも顕著な向上が達成された。

ABSTRACT

Systematic use of the published results of randomized clinical trials is increasingly important in evidence-based medicine. In order to collate and analyze the results from potentially numerous trials, evidence tables are used to represent trials concerning a set of interventions of interest. An evidence table has columns for the patient group, for each of the interventions being compared, for the criterion for the comparison (e.g. proportion who survived after 5 years from treatment), and for each of the results. Currently, it is a labour-intensive activity to read each published paper and extract the information for each field in an evidence table. There have been some NLP studies investigating how some of the features from papers can be extracted, or at least the relevant sentences identified. However, there is a lack of an NLP system for the systematic extraction of each item of information required for an evidence table. We address this need by a combination of a maximum entropy classifier, and integer linear programming. We use the later to handle constraints on what is an acceptable classification of the features to be extracted. With experimental results, we demonstrate substantial advantages in using global constraints (such as the features describing the patient group, and the interventions, must occur before the features describing the results of the comparison).

研究の動機と目的

• 実証的医療におけるランダム化臨床試験（RCT）要約から証拠表を手作業で構築する作業の人的負担を軽減すること。
• 臨床試験要約から構造化された情報（PICO要因）を抽出する自動的かつスケーラブルな手法を開発すること。
• 全般的な制約を用いて情報項目間の依存関係をモデル化することで、抽出精度を向上させること。
• 専門家によるアノテーションに依存するのを減らし、機械による臨床証拠の読解を可能にすること。
• システマティックレビュー担当者や意思決定者に計算可能な標準化された証拠要約を提供すること。

提案手法

• 最大エントロピー分類器を訓練し、RCT要約内のPICO関連語句の句の中心語（句の頭部）を特定する。
• 句の中心語が特定された後、従属構文解析を用いて完全な語句を抽出する。
• PICO要因のテキスト内順序などの全般的な制約を整数線形プログラミング（ILP）の制約として定式化する。
• ILPフェーズでは、患者群および介入の記述が結果の記述よりも前に来るように論理的一致性を保証する。
• 制約は、RCT報告の慣例（例：CONSORT指針）に基づいて手動で作成される。
• 最終出力として、抽出されたPICO要因で埋められた構造化された証拠表が得られる。

実験結果

リサーチクエスチョン

• RQ1 統計的NLPアプローチが、高い正確性と再現率を達成する形で、RCT要約からPICO要因を効果的に抽出できるか？
• RQ2 PICO要因の相対的順序に関する全般的な制約が、抽出性能にどのように寄与するか？
• RQ3 情報項目間の依存関係をモデル化することで、自動抽出の耐障害性と一貫性がどの程度向上するか？
• RQ4 ドメイン特化モデルを、コアアーキテクチャを再設計することなく、他の医療分野に適応可能か？
• RQ5 整数線形プログラミング（ILP）を最大エントロピー分類と統合する手法は、ルールベースまたは独立した統計的手法と比較してどのように優れるか？

主な発見

• 整数線形プログラミング（ILP）による全般的な制約の統合が、情報抽出の整合性と信頼性を顕著に向上させた。
• 相互依存関係をモデル化しないベースラインモデルと比較して、本システムは顕著な性能向上を達成した。
• 最大エントロピー分類の使用により、アノテート済み学習データから強固な特徴学習が可能になった。
• 本アプローチは、RCT要約から自動で証拠表を構築する可能性を示し、人的作業の削減に寄与した。
• システムのアーキテクチャはドメインに一般化可能であり、モデル構造がドメイン特化特徴に依存しないためである。
• 結果から、構造的および言語的制約をモデル化することで、臨床テキストマイニングにおけるNLPシステムの正確性と解釈可能性が向上することが示唆された。