[論文レビュー] Extracting Symptoms and their Status from Clinical Conversations

Nan Du, Kai Chen+4 more|arXiv (Cornell University)|Jun 5, 2019

Topic Modeling参考文献 24被引用数 9

ひとこと要約

この論文は、3,000件の匿名化され、専門家がアノテートした臨床対話のコーパスを用いて訓練された2つのディープラーニングモデル、階層的スパン-属性タギング（SA-T）モデルとシーケンス・ツー・シーケンス（Seq2Seq）モデルを用いて、臨床対話から症状とその状態（経験済み、経験せず、その他）を抽出する、新しいタスクを提案する。これらのモデルはFスコア0.5から0.8の範囲で性能を示し、SA-Tモデルは高い正確性、Seq2Seqモデルは高い再現率を示しており、臨床文書作成の自動化において相補的な強みを示している。

ABSTRACT

This paper describes novel models tailored for a new application, that of extracting the symptoms mentioned in clinical conversations along with their status. Lack of any publicly available corpus in this privacy-sensitive domain led us to develop our own corpus, consisting of about 3K conversations annotated by professional medical scribes. We propose two novel deep learning approaches to infer the symptom names and their status: (1) a new hierarchical span-attribute tagging (\SAT) model, trained using curriculum learning, and (2) a variant of sequence-to-sequence model which decodes the symptoms and their status from a few speaker turns within a sliding window over the conversation. This task stems from a realistic application of assisting medical providers in capturing symptoms mentioned by patients from their clinical conversations. To reflect this application, we define multiple metrics. From inter-rater agreement, we find that the task is inherently difficult. We conduct comprehensive evaluations on several contrasting conditions and observe that the performance of the models range from an F-score of 0.5 to 0.8 depending on the condition. Our analysis not only reveals the inherent challenges of the task, but also provides useful directions to improve the models.

研究の動機と目的

• 医師の臨床文書作成負担の増大に応えるために、医師-患者対話から症状を自動抽出する手法を提供すること。
• 話された臨床対話文における症状とその臨床的状態（経験済み、経験せず、その他）を特定することに焦点を当てた、新しい情報抽出タスクを定義すること。
• 会話的文脈とデータスパarsityの課題に適した、SA-TおよびSeq2Seqの2つの新しいディープラーニングモデルを開発・評価すること。
• 将来的な臨床対話理解分野の研究を支援するため、3,000件のアノテート済み臨床対話からなる公開可能な高品質コーパスを構築すること。
• 現実の臨床応用ニーズを反映する評価指標を確立すること。これには、アノテーター間一致度と、さまざまな条件下での性能評価が含まれる。

提案手法

• 文脈表現を用いて症状スパンを特定し、その後その状態を分類する階層的スパン-属性タギング（SA-T）モデルを提案。スパン表現のプール化によりデータスパarsityを低減する。
• スライディングウィンドウによる発話ターンの系列を用いて、症状とその状態をデコードするシーケンス・ツー・シーケンスモデルを設計。複数の発話に散らばった証拠をモデル化可能である。
• カリキュラム学習を用いて一般化性能を向上させ、特に希少症状や曖昧な状態のケースに対して効果を発揮する。
• 186の症状（14の身体系に分類）を含む、3,000件の匿名化された臨床対話のコーパスをアノテート。各症状について、状態（経験済み、経験せず、その他）をラベル付けした。
• 未加重および加重F1、正確性、再現率を含む評価指標を定義。比較のため、人間がアノテートした「ボトムス」基準を用意した。
• 手動トランスクリプトとASRトランスクリプトの両方を用いた学習条件の対比によるアブレーションスタディを実施。モデルの耐性と失敗モードを分析した。

実験結果

リサーチクエスチョン

• RQ1 話し言葉の複雑さと文脈依存的な意味の特徴を考慮すると、ディープラーニングモデルは臨床対話から症状とその状態をどれほどうまく抽出できるか？
• RQ2 学習データのモダリティ（手動トランスクリプト対ASRトランスクリプト）が、症状および状態抽出のモデル性能に与える影響は何か？
• RQ3 症状の種類や状態カテゴリに応じて、SA-TモデルとSeq2Seqモデルの正確性、再現率、耐性はどのように比較できるか？
• RQ4 人間のアノテーターは、症状および状態ラベル付けに関してどの程度一致するか？これはタスクの難易度をどのように示唆するか？
• RQ5 「複数の発話に散らばった証拠」のような言語的・会話的パターンは、モデルの誤りを引き起こす原因となり、どのように改善できるか？

主な発見

• 人間のアノテーター間一致度（未加重F1 = 0.84）は、症状と状態抽出タスクが、訓練を受けた医療スクリプトでも本質的に難しいことを示している。
• SA-Tモデルは未加重F1 0.71、加重F1 0.77を達成し、明確に定義された症状スパンに対して高い正確性と耐性を示した。
• Seq2Seqモデルは未加重F1 0.70、加重F1 0.79を達成し、再現率が高く、複数の発話に散らばった文脈から推論される症状をよりよく処理していた。
• 手動トランスクリプトで学習したモデルをASRトランスクリプトに適用した場合、F1スコアが加重F1で約0.14低下し、顕著なドメインギャップが示された。
• 両モデルとも、痛み、疲労、不快感、睡眠障害など、複数の発話にわたって伝えられる症状に対して最も困難を示した。これらは文脈的推論を要するためである。
• 誤り分析の結果、『睡眠障害』や『体重減少/増加』といった症状は、複数の発話にまたがる証拠のため頻繁に見逃され、長距離依存性を捉えるモデルの必要性が浮き彫りになった。