[論文レビュー] Towards Automated Anamnesis Summarization: BERT-based Models for Symptom Extraction

Anton Maximilian Schäfer, Nils Blach+3 more|arXiv (Cornell University)|Nov 3, 2020

Topic Modeling参考文献 13被引用数 4

ひとこと要約

本論文は、125件のフォーラム投稿から構成される新しいデータセットを用いて、ドイツ語の患者の独白から自動的に症状を抽出するBERTベースのモデルを提案する。カリキュラム学習とデータ拡張を用いることで、症状分類においてF1スコア0.903のSOTA性能を達成し、臨床文書作成支援の分野における強力な潜在的可能性を示している。

ABSTRACT

Professionals in modern healthcare systems are increasingly burdened by documentation workloads. Documentation of the initial patient anamnesis is particularly relevant, forming the basis of successful further diagnostic measures. However, manually prepared notes are inherently unstructured and often incomplete. In this paper, we investigate the potential of modern NLP techniques to support doctors in this matter. We present a dataset of German patient monologues, and formulate a well-defined information extraction task under the constraints of real-world utility and practicality. In addition, we propose BERT-based models in order to solve said task. We can demonstrate promising performance of the models in both symptom identification and symptom attribute extraction, significantly outperforming simpler baselines.

研究の動機と目的

• ドイツ語圏の医療現場における不完全で非構造的な臨床文書作成の課題に対処すること。
• 患者の独白から症状および属性を抽出する、実用的で現実世界に適用可能な情報抽出タスクを構築すること。
• 構造化された症状および属性のアノテーションを備えた、125件のドイツ語の患者が作成した状態記述からなる、新しい高品質データセットを構築すること。
• 低リソース医療NLPの現実的な制約下で、BERTベースのモデルを用いた症状分類および属性抽出の評価を行うこと。
• 症状クエリモデルおよびデータ拡張技術を用いて、未観測の症状への一般化を向上させること。

提案手法

• マルチラベル出力を備えた症状分類タスクに、事前学習済みドイツ語BERTモデル（bert-base-german-cased）を微調整する。
• 症状の記述を条件として用いることで、患者のテキスト内での存在を予測する「BERT症状クエリ（BERT-SQ）」モデルを提案し、未学習の症状に対してもゼロショット一般化を可能にする。
• 階層的症候群類似度に基づいてネガティブサンプルを順序付け、段階的に難易度を上げるカリキュラム学習を適用する。
• 症状の合成記述を生成することで、モデルの一般化能力を向上させるデータ拡張を実装する。
• 2つの属性抽出戦略を用いる：開始・終了トークン予測と、確信度閾値0.7を設定した連続トークン分類。
• 開始・終了予測における重複または不一致するトークンスパンを解消するためのヒューリスティックな後処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、現実世界の臨床文脈において、非構造的なドイツ語の患者独白から症状およびその属性を効果的に抽出できるか？
• RQ2 階層的症候群構造を持つ症状分類において、カリキュラム学習はモデル性能をどのように向上させるか？
• RQ3 合成症状記述によるデータ拡張は、未観測の症状への一般化をどの程度向上させるか？
• RQ4 開始・終了予測と連続トークン分類の異なる属性抽出戦略は、性能および耐性においてどのように比較されるか？
• RQ5 症状クエリモデルは、学習時に見られなかった症状に対しても、効果的に一般化できるか？

主な発見

• カリキュラム学習とデータ拡張を適用したBERT症状クエリモデルは、症状分類においてマイクロ-F1スコア0.903を達成し、ベースラインモデルを著しく上回った。
• データ拡張を適用した症状クエリモデルは、付録Dのアブレーションスタディで、未観測症状への一般化がより良好であることが示された。
• 連続トークン予測法は、場所属性においてF1スコア0.66を達成し、開始・終了法（0.56）を上回った。
• すべての属性を同時に学習した一般属性モデルは、大多数の属性において個別のモデルを上回り、頻度属性ではF1スコア0.42、行動属性では0.32を記録した。
• 最高性能を示した設定では、正確性（precision）が0.956、再現率（recall）が0.855を達成し、症状検出の信頼性が非常に高いことが示された。
• 症状分類においては強力な性能を示したが、特に記述的および時間的属性の抽出は依然として困難であり、一部のカテゴリではF1スコアが0.3未満にとどまった。