[論文レビュー] Learning to Infer Entities, Properties and their Relations from Clinical Conversations

Nan Du, Mingqiu Wang+3 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 41被引用数 9

ひとこと要約

本稿では、臨床会話全体にわたる臨床用語（症状、薬剤）、その特性、および関係を同時に推論する新しいマルチタスク学習モデル、Relation-SAT（R-SAT）を提案する。メモリバッファを用いてエンティティ表現を保存し、長距離依存関係のモデリングを可能にすることで、R-SATは最先端の性能を達成し、ベースラインを上回って、症状-特性関係では32%（F1 0.82 対 0.62）、薬剤-特性関係では50%（F1 0.60 対 0.41）の向上を達成した。

ABSTRACT

Recently we proposed the Span Attribute Tagging (SAT) Model (Du et al., 2019) to infer clinical entities (e.g., symptoms) and their properties (e.g., duration). It tackles the challenge of large label space and limited training data using a hierarchical two-stage approach that identifies the span of interest in a tagging step and assigns labels to the span in a classification step. We extend the SAT model to jointly infer not only entities and their properties but also relations between them. Most relation extraction models restrict inferring relations between tokens within a few neighboring sentences, mainly to avoid high computational complexity. In contrast, our proposed Relation-SAT (R-SAT) model is computationally efficient and can infer relations over the entire conversation, spanning an average duration of 10 minutes. We evaluate our model on a corpus of clinical conversations. When the entities are given, the R-SAT outperforms baselines in identifying relations between symptoms and their properties by about 32% (0.82 vs 0.62 F-score) and by about 50% (0.60 vs 0.41 F-score) on medications and their properties. On the more difficult task of jointly inferring entities and relations, the R-SAT model achieves a performance of 0.34 and 0.45 for symptoms and medications respectively, which is significantly better than 0.18 and 0.35 for the baseline model. The contributions of different components of the model are quantified using ablation analysis.

研究の動機と目的

• 限られたリソースが限られた臨床会話データから、臨床用語、その特性、および関係を同時に抽出する課題に対処すること。
• 短いスパン（2〜3文）に制限される既存の関係抽出モデルの計算コストおよび精度の制限を克服すること。
• マルチタスク学習と知識グラフ埋め込みを活用することで、ラベル空間が広大な低リソース環境での性能を向上させること。
• 関係が複数の発話にまたがる場合に、長時間にわたる対話（最大10分）においても長距離依存関係を捉える能力を評価すること。
• アーキテクチャ的要素（メモリバッファや知識グラフ特徴）の貢献度をアブレーションスタディにより定量的に評価すること。

提案手法

• R-SATは2段階の階層的アーキテクチャを採用する：まず、タギング機構を用いてエンティティおよび特性の候補スパンを特定し、次にそれらを事前に定義されたタイプに分類する。
• メモリバッファは検出されたエンティティおよびその文脈の潜在表現を保存し、長期間にわたるシーケンスにおいてエンティティと特性間の関係を効率的に共同推論可能にする。
• マルチタスク学習を採用し、エンティティ認識、特性分類、関係抽出を同時に最適化することで、タスク間で表現を共有する。
• ドメイン固有の臨床知識を強化するため、入力特徴に知識グラフ埋め込みを組み込む。
• 構造的予測損失を用いたシーケンス・トゥ・シーケンスフレームワークにより、エンド・トゥ・エンドで学習し、すべてのコンponentsを共同最適化する。
• 関係予測は、メモリバッファに格納されたエンティティと特性スパン間のアテンションスコアを計算することで実行され、局所的な文境界を超えた長距離関係検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低リソース環境において、1つのモデルが臨床用語、その特性、およびエンティティ間の関係を効果的かつ効率的に共同推論できるか。
• RQ2 長期間にわたる臨床会話において、症状とその特性の間の関係を抽出する際、モデルの性能が強力なベースラインと比べてどのように異なるか。
• RQ3 メモリバッファや知識グラフ埋め込みといったアーキテクチャ的要素が、性能向上にどの程度貢献しているか。
• RQ4 関係が複数の発話（例：3文以上）にまたがる場合、モデルは長距離依存関係をどのように処理するか。
• RQ5 人間のアノテーターと比較して、モデルの性能はどの程度で、臨床関係抽出における主な誤り要因は何か。

主な発見

• R-SATは、症状-特性関係抽出においてF1スコア0.82を達成し、ベースライン（0.62）を32%上回った。
• 薬剤-特性関係では、F1スコア0.60を達成し、ベースライン（0.41）を50%上回った。
• エンティティと関係の両方を同時に推論するより困難なタスクにおいて、R-SATは症状でF1スコア0.34、薬剤でF1スコア0.45を達成し、それぞれベースライン（0.18および0.35）を著しく上回った。
• 3文以上にわたる関係のうち、正しく特定された関係の10.6%をモデルが捉えたが、これはゴールドスタンダードの11.1%に近く、短距離関係に偏らないことを示した。
• アブレーションスタディの結果、メモリバッファおよび知識グラフ特徴が、特に長距離依存関係モデリングにおいて性能向上に顕著な貢献をしていることが分かった。
• 人間のスクリプト作成者が症状-特性抽出でF1スコア0.51を達成したのに対し、モデルは人間性能の67%に達した。これは、強力な性能向上を達成したものの、さらなる改善余地が大きいことを示している。