[論文レビュー] An Attentive Sequence Model for Adverse Drug Event Extraction from Biomedical Text

Suriyadeepan Ramamoorthy, Selvakumar Murugan|arXiv (Cornell University)|Jan 2, 2018

Biomedical Text Mining and Ontologies参考文献 19被引用数 19

ひとこと要約

この論文では、生体医薬品テキスト内の文脈的依存関係を捉えるために自己注意機構を用いた、共同エンティティ認識および有害薬物反応（ADE）抽出モデルを提案する。ADE抽出を特定の薬剤に条件づけた質問応答タスクとして定式化することで、最先端技術比で15%の向上を達成し、F1スコアは86.78を記録した。同時に、臨床的文脈理解のための解釈可能な注目可視化が可能である。

ABSTRACT

Adverse reaction caused by drugs is a potentially dangerous problem which may lead to mortality and morbidity in patients. Adverse Drug Event (ADE) extraction is a significant problem in biomedical research. We model ADE extraction as a Question-Answering problem and take inspiration from Machine Reading Comprehension (MRC) literature, to design our model. Our objective in designing such a model, is to exploit the local linguistic context in clinical text and enable intra-sequence interaction, in order to jointly learn to classify drug and disease entities, and to extract adverse reactions caused by a given drug. Our model makes use of a self-attention mechanism to facilitate intra-sequence interaction in a text sequence. This enables us to visualize and understand how the network makes use of the local and wider context for classification.

研究の動機と目的

• 臨床的テキストにおける有害薬物反応（ADE）の報告不足という課題に取り組む。これは、患者の死亡率および合併症に顕著な影響を及える。
• 従来の関係抽出問題ではなく、質問応答タスクとしてモデル化することにより、ADE抽出の精度と解釈可能性を向上させる。
• 依存パスに基づく手法に代えて、より豊かな文内文脈モデリングを可能にする自己注意機構を導入する。
• エンドツーエンドで学習可能なアーキテクチャ内で、薬剤および疾患エンティティ認識とADE関係抽出を同時に学習する。
• 注目ヒートマップを通じた可視化により、モデルが局所的およびグローバルな文脈を予測にどう利用しているかを明らかにする。

提案手法

• モデルはADE抽出を質問応答問題として扱う。各トークンに対して、「これは指定された薬剤の有害な副作用ですか？」という質問に応答する。
• 入力シーケンスを表現するために、単語、文字、品詞（POS）、ラベル埋め込みを用いた双方向LSTMエンコーダーを採用する。
• 自己注意機構により、すべてのトークン状態にわたって注目を計算し、文脈に適した表現を生成する。これにより、関連するセグメントに動的に注目できる。
• 注目機構により、薬剤や疾患エンティティのような特定のトークンにモデルの注目がどのように集中しているかを可視化できる。
• エンティティ認識およびADE分類の両タスクにクロスエントロピー損失を用いて、エンドツーエンドで学習する。
• ハイパーパrameterには、400次元の単語埋め込み、525次元の文字埋め込み、25次元のPOSおよびラベル埋め込みを設定し、各150ユニットの双方向LSTM層を用いる。

実験結果

リサーチクエスチョン

• RQ1 特定の薬剤に条件づけた質問応答タスクとしてADE抽出を定式化することで、従来の関係抽出手法よりも性能が向上するか？
• RQ2 自己注意機構は、ADE抽出における文内依存関係のモデリングにおいて、最短依存パス（SDP）ベースの手法を上回るか？
• RQ3 注目可視化は、臨床的テキストシーケンスにおけるモデル意思決定の解釈にどの程度寄与するか？
• RQ4 シーケンス長、エンティティ数、ADE数とモデル性能との間に相関関係があるか？
• RQ5 エンティティ認識とADE抽出の共同学習は、全体のシステム性能にどのように影響するか？

主な発見

• ADE抽出のF1スコアは86.78を達成し、前回の最先端技術比で15%の向上を記録した。
• エンティティ認識の性能は、最先端技術をわずかに上回っており、50%以上のサンプルでF1スコアが95以上を記録した。
• ADE抽出予測の60%以上がF1スコア95以上を達成しており、高信頼度のケースにおける強力な一般化性能を示している。
• 注目ヒートマップは、高性能なサンプルにおいて明確に薬剤および疾患エンティティを強調しており、モデルが関連する臨床用語に注目していることを確認している。
• 低性能なサンプルでは、注目がトークン全体に散らばっており、関連する文脈を特定できていないことが示され、これは予測の悪化と相関していた。
• モデル性能とシーケンス長、エンティティ数、ADE数との間に顕著な相関関係は認められず、入力の複雑さに対して頑健であることが示された。