[論文レビュー] A Multi-Task Learning Framework for Extracting Drugs and Their Interactions from Drug Labels

Tung Tran, Ramakanth Kavuluru+1 more|arXiv (Cornell University)|May 17, 2019

Biomedical Text Mining and Ontologies参考文献 20被引用数 3

ひとこと要約

この論文は、投票ベースのアンサンブル学習を用いた深層ニューラルネットワークを用いて、薬剤ラベルから名前付きエンティティ認識（NER）と薬物-薬物相互作用（DDI）関係抽出を共同で行うマルチタスク学習フレームワークを提示している。このシステムはTAC 2018 DDIトラックでNER（テストセット1と2のF1スコアはそれぞれ33.00%および38.25%）および関係抽出（F1スコアはそれぞれ21.59%および23.55%）の両方で2位を達成し、外部の大規模データセットの恩恵が限定的であったにもかかわらず、アンサンブルモデルによる再現率の向上が示された。

ABSTRACT

Preventable adverse drug reactions as a result of medical errors present a growing concern in modern medicine. As drug-drug interactions (DDIs) may cause adverse reactions, being able to extracting DDIs from drug labels into machine-readable form is an important effort in effectively deploying drug safety information. The DDI track of TAC 2018 introduces two large hand-annotated test sets for the task of extracting DDIs from structured product labels with linkage to standard terminologies. Herein, we describe our approach to tackling tasks one and two of the DDI track, which corresponds to named entity recognition (NER) and sentence-level relation extraction respectively. Namely, our approach resembles a multi-task learning framework designed to jointly model various sub-tasks including NER and interaction type and outcome prediction. On NER, our system ranked second (among eight teams) at 33.00% and 38.25% F1 on Test Sets 1 and 2 respectively. On relation extraction, our system ranked second (among four teams) at 21.59% and 23.55% on Test Sets 1 and 2 respectively.

研究の動機と目的

• 構造化製剤ラベル（SPLs）から薬物-薬物相互作用（DDIs）を抽出することで、薬物の安全性を向上させ、有害な薬物反応を防止する課題に対処すること。
• 原因物質、誘因、効果の名前付きエンティティ認識（NER）に加え、相互作用タイプと結果予測を共同でモデリングすること。
• 多様な薬剤ラベル構造およびアノテーションスタイルに一般化可能な堅牢なディープラーニングシステムを開発すること。
• トレーニングデータの規模とアノテーションの一貫性が、実世界の臨床NLPタスクにおけるモデル性能に与える影響を評価すること。

提案手法

• 名前付きエンティティ認識（NER）と関係抽出を共同で行うために、共有層とタスク固有層を持つ単一の深層ニューラルネットワークモデル。
• 予測の安定性と再現率を向上させるために、10個の独立して訓練されたモデルの投票ベースのアンサンブル。予測は投票頻度に基づいて集約される。
• 推論時に「XおよびY誘導体」などの共起修飾子を処理するための前処理・後処理ルール。単一エンティティを複数の構成要素に分割する。
• 公式のTraining-22セットに加え、外部のNLM-180データセット（180個の薬剤ラベル）を活用してモデルの一般化性能を向上。
• NERには交差エントロピー損失、相互作用タイプと結果予測にはマルチラベル分類を用いたモデル訓練。
• 重複する予測を解消するための後処理。投票数の高いアノテーションを選択し、矛盾するものを破棄する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、薬剤ラベルからの名前付きエンティティ認識と薬物-薬物相互作用関係抽出の両方の性能を向上させることができるか？
• RQ2 アンサンブル学習は、臨床テキスト抽出のNLPモデルにおける再現率と安定性にどのように影響を与えるか？
• RQ3 大規模な外部データセット（NLM-180）を用いることで、小規模な公式テストセットにおける性能がどの程度向上するか？
• RQ4 アノテーションガイドラインの変更に伴い、時間経過とともに変化する中で、大規模トレーニングデータからのパフォーマンス向上がテストセットで限定的になるのはなぜか？
• RQ5 異なるデータセット間でのアノテーション品質と一貫性の違いが、モデルの一般化性能と評価指標に与える影響はどの程度か？

主な発見

• 投票ベースのアンサンブルモデルは、NERおよび関係抽出の両タスクで2位を達成し、それぞれテストセット1と2のF1スコアは33.00%および38.25%であった。
• アンサンブルシステムは、精度にほぼ同等のまま再現率を顕著に向上させ、より安定性と頑健性が向上していることが示された。
• NLM-180からのトレーニングデータ量が800%増加したにもかかわらず、テストセットでのパフォーマンス向上は限定的であった。これは、アノテーションのずれや品質の差が要因である可能性がある。
• 最良のパフォーマンスを示したシステム（Tangら）は、1,148件の手動アノテーション文を用いており、直接的な比較は困難である。
• 著者らは、密度の高いテキスト（テストセット1）では性能が高く、疎なテキスト（テストセット2）では性能が低い傾向にあることを観察した。これは、データの疎らさに対する感受性を示している。
• 前処理・後処理ルールは、「XおよびY誘導体」のような共起修飾子パターンを効果的に処理でき、推論時にそれらを個別のエンティティに分割していた。