[論文レビュー] A preliminary study on evaluating Consultation Notes with Post-Editing

Francesco Moramarco, Alex Papadopoulos-Korfiatis+2 more|arXiv (Cornell University)|Apr 9, 2021

Translation Studies and Practices参考文献 15被引用数 9

ひとこと要約

本研究では、医師がAIが生成したノートを新たに作成するのではなく、修正することで評価する'post-editing'を、医療分野における自動化された外来診療ノート生成の実用的評価手法として提案している。結果として、post-editingは新規作成よりも速く、平均23分（新規作成時36分）の所要時間であることが示された。これは、医師のノート作成スタイルのばらつきが存在するものの、時間的効率が高く、臨床現場への導入可能性があることを示唆している。

ABSTRACT

Automatic summarisation has the potential to aid physicians in streamlining clerical tasks such as note taking. But it is notoriously difficult to evaluate these systems and demonstrate that they are safe to be used in a clinical setting. To circumvent this issue, we propose a semi-automatic approach whereby physicians post-edit generated notes before submitting them. We conduct a preliminary study on the time saving of automatically generated consultation notes with post-editing. Our evaluators are asked to listen to mock consultations and to post-edit three generated notes. We time this and find that it is faster than writing the note from scratch. We present insights and lessons learnt from this experiment.

研究の動機と目的

• 臨床現場における自動化された外来診療ノート生成システムの評価の課題に取り組むこと。ここでの目的は、内在的指標だけでは安全性や正確性を保証できないことである。
• post-editingによるAI生成ノートの作成が、新規作成よりも速いかどうかを検証し、実世界での実用性を評価するための半自動ワークフローを用いること。
• 医師のノート作成スタイルと生成ノートの品質が、post-editingの所要時間と作業負荷に与える影響を調査すること。
• post-editingワークフローにおける使いやすさと認知的負荷の課題を特定し、臨床現場への導入に向けた障壁を明らかにすること。
• post-editingを、臨床NLPシステムの評価および展開のための実用的で時間効率の良い戦略とする基盤を築くこと。

提案手法

• プライベートデータセットから抽出した57件の模擬外来診療を対象に、3名のプライマリ・ケア医師を対象とした制御実験を実施した。
• 各医師は、まず診療音声を聴取し、患者向けに分かりやすいノートを新規に作成した。その後、2種類の異なるモデルが生成したAIノートを3件ずつpost-editingした。
• 両者の作業（新規作成対比post-editing）に要した時間を測定・比較し、時間的節約の有無を評価した。
• 編集時間の記録および使いやすさと認知的負荷に関する質的フィードバック収集のため、カスタムアノテーションプラットフォームを用いた。
• 編集パターン、ノート品質スコア、医師からのフィードバックを分析し、一貫性、誤り、ワークフローへの影響を評価した。
• 今後の研究では、タスクの順序をランダムにすることで、時間測定における順序バイアスを低減することを計画している。

実験結果

リサーチクエスチョン

• RQ1 模擬臨床環境下で、AI生成外来診療ノートのpost-editingは、新規作成よりも速いか？
• RQ2 生成ノートの品質（正確性、包括性など）は、post-editingに要する時間と作業負荷にどのように影響するか？
• RQ3 個々の医師のノート作成スタイルは、post-editingのパフォーマンスと所要時間にどの程度影響を及えるか？
• RQ4 新規作成と比較して、post-editingにはどのような認知的および使いやすさの課題があるか？
• RQ5 post-editingは、臨床要約システムの信頼性のある外的評価指標として機能できるか？

主な発見

• AI生成ノートのpost-editingは、新規作成よりも顕著に速く、平均23分（新規作成時36分）であった。
• 医師が作成した基準ノートは、通常、AI生成ノートよりもpost-editingが速かったが、品質に問題がある場合、AIノートの編集に時間がかかることもあった。
• 医師のノートスタイルには大きなばらつきがあり、1名の医師は短く簡潔なノートを書く傾向で、編集回数も少なかった。一方、別の医師は細部まで注意を払い、より多くの時間を編集に費やしていた。
• 欠落や誤った記述が多いノートは、より長い編集時間を要した。これは、品質と編集作業負荷の間に関連性があることを示唆している。
• 1名の医師は、低品質なノートに対してpost-editingを完全に放棄し、代わりに元のノートをコピーした。これは、ワークフローにおける潜在的な失敗要因を示している。
• post-editing中は認知的負荷が高くなると感じられ、医師たちはAI出力の批判的評価と是正に要する精神的負担について懸念を示した。