[論文レビュー] Understanding Clinical Trial Reports: Extracting Medical Entities and Their Relations

Benjamin Nye, Jay DeYoung+4 more|arXiv (Cornell University)|Oct 7, 2020

Biomedical Text Mining and Ontologies被引用数 10

ひとこと要約

本稿では、無作為化比較試験（RCT）報告書から構造化された臨床的証拠（介入、結果、比較的結果）を抽出するエンド・ツー・エンドのシステムを紹介する。本研究では、試験報告における言語的パターンを活用することで、最先端のNLPモデルを上回る性能を示す「抽出・リンク・推論（ELI）」手法を提案し、がんの薬物再利用の機会を模索する非営利団体との現地評価を通じて実用的価値を示している。

ABSTRACT

The best evidence concerning comparative treatment effectiveness comes from clinical trials, the results of which are reported in unstructured articles. Medical experts must manually extract information from articles to inform decision-making, which is time-consuming and expensive. Here we consider the end-to-end task of both (a) extracting treatments and outcomes from full-text articles describing clinical trials (entity identification) and, (b) inferring the reported results for the former with respect to the latter (relation extraction). We introduce new data for this task, and evaluate models that have recently achieved state-of-the-art results on similar tasks in Natural Language Processing. We then propose a new method motivated by how trial results are typically presented that outperforms these purely data-driven baselines. Finally, we run a fielded evaluation of the model with a non-profit seeking to identify existing drugs that might be re-purposed for cancer, showing the potential utility of end-to-end evidence extraction systems.

研究の動機と目的

• 未構造化されたRCT報告書から比較的治療効果データを手作業で抽出することは、医療専門家にとって時間とコストがかかる課題であるため、これを解決すること。
• RCTの要約から臨床的エンティティ（介入、対照群、結果）の識別と関係抽出（報告された結果）を統合した新しいエンド・ツー・エンドタスクを導入すること。
• 試験結果の報告方法における言語的パターンに基づいて、抽出・リンク・推論（ELI）という新規手法を開発・評価すること。
• RebootRX（がんの薬物再利用に注力する非営利団体）と実施した現地評価を通じて、システムの実世界での有用性を評価すること。
• 今後の臨床的証拠抽出分野の研究を支援するため、新しい遠隔教師あり学習データセットと直接教師ありテストセットを提供すること。

提案手法

• ELIモデルはモジュール式のパイプラインを採用している：まず候補となるエンティティ（介入、結果、対照群）を抽出し、次にコアフレンスと意味的クラスタリングを用いて、テキスト全体にわたる同じエンティティの表記をリンクする。
• 各ICOトリプレット（介入・対照群・結果）について、特に結果が通常述べられる結論文の文脈を分析することで、報告された結果（例：利益、有害、差なし）を推論する。
• この手法の動機は、試験結果がしばしば間接的に伝えられ、主な介入が明示的に記載されているのはわずか28％にとどまることに起因する。したがって、言語的手がかりに基づいた推論が不可欠である。
• モデルは、新しいデータセットを用いて訓練および評価されている：大規模な遠隔教師あり学習用トレーニングセットと、包括的なトリプレットレベルのアノテーションを有する手作業でアノテートされたテストセット。
• このアプローチは、推論プロセスにドメイン特異的言語的知見を統合することで、DyGIE++のような最先端の統合モデルを上回る性能を発揮する。
• モデルは統合学習モードとモジュール学習モードの両方をサポートしており、教師ありタイプやコンポーネント設計の影響を分離して評価するためのアブレーションスタディが可能である。

実験結果

リサーチクエスチョン

• RQ1 モジュール式で言語的知見に基づいたアプローチは、純粋にデータ駆動の統合NLPモデルを上回るのか？
• RQ2 抽出・リンク・推論（ELI）手法は、RCT要約全体にわたって多様な表記の治療法や結果を同定・リンクする上でどれほど効果的か？
• RQ3 標準的な評価指標における低いFスコアは、臨床意思決定支援における実際の有用性をどれほど反映しているのか？
• RQ4 試験報告におけるコアフレンスおよび間接的参照のパターンは、証拠抽出システムの性能にどのように影響を与えるか？
• RQ5 ICOトリプレットとその報告結果をエンド・ツー・エンドで抽出するシステムは、がんの薬物再利用のような実世界の応用において実用的であるか？

主な発見

• ELIモデルは、提案された臨床的証拠抽出タスクにおいて、DyGIE++のような最先端の統合モデルを上回る優れた性能を達成した。
• RebootRXとの現地評価では、20ドキュメントのテストセットで再現率80.0％、正確率63.8％を達成し、Fスコアが低くても実用的価値があることが示された。
• 報告結果の方向性の誤りが、抽出エラーの47.6％を占めており、結果推論における主な課題であることが浮き彫りになった。
• 本研究では、新しい遠隔教師あり学習用トレーニングデータセットと、包括的なトリプレットアノテーションを有する直接教師ありテストセットを提供した。これらは今後公開される予定である。
• Fスコアが低くても、ドメイン専門家はモデルの出力ががんの薬物再利用の候補薬を特定する上で役立つと評価した。
• 結果として、言語的および構造的知見に基づいた試験報告の理解がなされれば、完璧でないシステムでも証拠統合における意味のある支援が可能であることが示唆された。