[論文レビュー] Generating SOAP Notes from Doctor-Patient Conversations

Kundan Krishna, Sopan Khosla+2 more|arXiv (Cornell University)|May 4, 2020

Topic Modeling参考文献 7被引用数 22

ひとこと要約

本論文は、医師と患者の会話トランスクリプトからSOAPノートを生成するための2段階パイプラインを提案する。まず、多ラベル分類とクラスタリングを用いて、各セクションに該当する注目すべき発言を抽出し、その後、これらのクラスタを条件として要約文を生成する。この手法は、エンド・トゥ・エンド生成と比較してROUGE-1を7ポイント向上させ、抽出の改善によりさらなる向上が可能である。

ABSTRACT

Following each patient visit, physicians must draft detailed clinical summaries called SOAP notes. Moreover, with electronic health records, these notes must be digitized. For all the benefits of this documentation the process remains onerous, contributing to increasing physician burnout. In a parallel development, patients increasingly record audio from their visits (with consent), often through dedicated apps. In this paper, we present the first study to evaluate complete pipelines for leveraging these transcripts to train machine learning model to generate these notes. We first describe a unique dataset of patient visit records, consisting of transcripts, paired SOAP notes, and annotations marking noteworthy utterances that support each summary sentence. We decompose the problem into extractive and abstractive subtasks, exploring a spectrum of approaches according to how much they demand from each component. Our best performing method first (i) extracts noteworthy utterances via multi-label classification assigns them to summary section(s); (ii) clusters noteworthy utterances on a per-section basis; and (iii) generates the summary sentences by conditioning on the corresponding cluster and the subsection of the SOAP sentence to be generated. Compared to an end-to-end approach that generates the full SOAP note from the full conversation, our approach improves by 7 ROUGE-1 points. Oracle experiments indicate that fixing our generative capabilities, improvements in extraction alone could provide (up to) a further 9 ROUGE point gain.

研究の動機と目的

• 電子的健康記録におけるSOAPノート記録に要する時間の長さが原因で発生する医師の燃え尽き（physician burnout）を軽減すること。
• 患者が記録した訪問トランスクリプトを活用してSOAPノートの自動生成の可能性を検討すること。
• ノート生成を抽出的段階と要約的段階に分解する構造化されたパイプラインの開発および評価すること。
• 特に発言抽出の質に注目した、部品レベルの改善が最終的な生成品質に与える影響を評価すること。

提案手法

• 各要約文に関連する発言をマークした注釈を含む、トランスクリプト、対応するSOAPノート、および注釈を含む独自のデータセットを構築する。
• タスクを抽出的および要約的（抽象的）なコンponentに分解する：まず、多ラベル分類を用いて注目すべき発言を特定する。
• 抽出された発言をSOAPセクション（例：主観的、客観的）ごとにクラスタリングし、意味的に関連するコンテンツをグループ化する。
• 対応するクラスタとセクションの文脈を条件として、各要約文の要約的生成を行う。
• クラスタリングされた発言を文脈として使用して、文を生成する条件付き系列モデルを訓練する。
• パイプラインの性能を評価するために、エンド・トゥ・エンド生成アプローチと比較する。

実験結果

リサーチクエスチョン

• RQ1 発言抽出と文書生成を分離する2段階パイプラインは、エンド・トゥ・エンド生成の手法を上回る性能を示せるか？
• RQ2 発言抽出の質が、全体の生成品質にどの程度寄与しているか？
• RQ3 生成モデルの品質とは独立して、抽出の改善のみで最終的なROUGEスコアをどの程度向上させられるか？
• RQ4 抽出された発言をセクションごとにクラスタリングすることは、セクション固有の要約のためのコンテンツ整理にどの程度効果的か？

主な発見

• 提案されたパイプラインは、エンド・トゥ・エンド生成アプローチと比較してROUGE-1を7ポイント向上させた。
• オラクル実験の結果、生成部の品質を固定した状態で、抽出の改善により最大9ポイントのROUGEスコア向上が可能であることが示された。
• 注目すべき発言の多ラベル分類は、各SOAPセクションに関連する内容を効果的に同定した。
• セクションごとの発言クラスタリングにより、生成された要約文の整合性と関連性が向上した。
• クラスタリングされた発言を条件として与えることで、要約的生成段階は流れの良い文を生成できた。
• 結果から、抽出の質が重要なボトルネックであり、顕著な臨床的コンテンツを同定する分野には大幅な改善の余地があることが示唆された。