[論文レビュー] Towards an Automated SOAP Note: Classifying Utterances from Medical Conversations

Benjamin Schloss, Sandeep Konam|arXiv (Cornell University)|Jul 17, 2020

Topic Modeling被引用数 8

ひとこと要約

本論文では、医療会話の発話文をSOAPノート項目（主観、客観、評価、計画）および発話者役割（医師または患者）に自動分類する階層的ディープラーニングモデルを提案する。文脈表現として双方向LSTMを用いることで、SOAP分類では人間水準に近い性能（F1 ≈90%）を達成し、発話者分類ではF1スコアで7–11%の顕著な向上を達成した。さらに、ノイズの多いASR出力に適応するモジュラー手法を導入し、発話者ラベル付けの耐障害性を向上させたが、SOAP分類には効果がなかった。

ABSTRACT

Summaries generated from medical conversations can improve recall and understanding of care plans for patients and reduce documentation burden for doctors. Recent advancements in automatic speech recognition (ASR) and natural language understanding (NLU) offer potential solutions to generate these summaries automatically, but rigorous quantitative baselines for benchmarking research in this domain are lacking. In this paper, we bridge this gap for two tasks: classifying utterances from medical conversations according to (i) the SOAP section and (ii) the speaker role. Both are fundamental building blocks along the path towards an end-to-end, automated SOAP note for medical conversations. We provide details on a dataset that contains human and ASR transcriptions of medical conversations and corresponding machine learning optimized SOAP notes. We then present a systematic analysis in which we adapt an existing deep learning architecture to the two aforementioned tasks. The results suggest that modelling context in a hierarchical manner, which captures both word and utterance level context, yields substantial improvements on both classification tasks. Additionally, we develop and analyze a modular method for adapting our model to ASR output.

研究の動機と目的

• 医療会話からの自動SOAPノート生成のためのきめ細やかな定量的ベースラインの欠如に対処すること。
• 発話文をSOAP項目と発話者役割に分類する機械学習フレームワークを開発し、後続の要約生成や文書自動化を可能にすること。
• 8,130件の医療会話のヒューマントランスクリプトおよびASRトランスクリプト、それにそれに最適化されたSOAPノートを含むベンチマークデータセットを構築すること。
• 文脈表現として双方向LSTMを用いることで、発話レベルの表現に対する分類性能の向上がどの程度達成できるかを評価すること。
• エンド・ツー・エンドのトレーニングを必要としない、NLUモデルをASR出力に適応するモジュラー手法を設計・検証すること。

提案手法

• モデルは、双方向LSTM層を介して語彙レベルおよび発話レベルの文脈を捉える階層的エンコーダ・デコーダアーキテクチャを採用する。
• 発話埋め込み表現は、双方向LSTMを用いて発話間の依存関係をモデル化することで、分類性能を向上させる。
• モジュラー適応手法は、文字列アラインメントとラベルスムージングを用いて、ヒューマントランスクリプトの発話をASRトランスクリプトの発話にマッピングすることで、トランスクリプションエラーに耐性を持つ。
• モデルはヒューマンおよびASRトランスクリプトデータの両方で微調整され、トレーニング中にマッピングを適用することで、ASRノイズに対する耐性を高める。
• ASRとNLUのトレーニングを分離することで、GoogleのプリトレーニングASRシステムなど既存のASRシステムと統合可能であり、共同最適化を必要としない。
• マルチタスク学習のアプローチを検討し、SOAP項目と発話者役割を同時に予測するが、性能向上の数値的報告は行われていない。

実験結果

リサーチクエスチョン

• RQ1 階層的ディープラーニングモデルは、医療会話の発話をSOAPノート項目に高い性能で分類できるか？
• RQ2 双方向LSTMを用いた発話間の文脈モデリングは、SOAP項目および発話者役割分類の正確性を顕著に向上させるか？
• RQ3 ASR出力に適応するモジュラー手法は、エンド・ツー・エンドのトレーニングを必要とせずにモデルの耐障害性を向上させられるか？
• RQ4 トレーニング時にASR出力のデータを含めることは、SOAP項目分類および発話者役割分類の性能にどのように影響するか？
• RQ5 発話分割およびダイアライゼーションの品質が、ASRデータに対するモデル性能にどの程度影響を及えるか？

主な発見

• 階層的双方向LSTMモデルは、SOAP項目分類で約90%のF1スコアを達成し、人間水準の性能に近づいた。
• 双方向LSTMによる文脈表現の活用により、非文脈的ベースラインと比較してSOAP項目分類のF1スコアが6–7%の絶対的向上を達成した。
• 発話者役割分類では、双方向LSTMの文脈表現を用いることでF1スコアが7–11%の絶対的向上を示し、発話間の依存関係に強く依存していることが示された。
• モジュラーASR適応手法は、ASRトランスクリプトを含むトレーニングデータを用いた場合、発話者役割分類の性能を向上させたが、SOAP項目分類には向上効果がなかった。
• SOAP分類に改善効果がなかったのは、ヒューマントランスクリプトで学習したモデルがすでに上限性能に達しているため、改善の余地がなかった可能性がある。
• 本研究は、自動SOAPノート生成のための最初のきめ細やかな定量的ベンチマークを提供した。8,130件の医療会話のヒューマンおよびASRトランスクリプト、それに最適化されたSOAPノートを含む大規模データセットを構築した。